关于此职位我们正在寻找一位具有扎实实践经验的 Python 数据工程师，精通基于 Behave 的单元测试、PySpark 开发、Delta Lake 优化以及 Azure 云服务。此职位专注于在容器化环境中设计和部署可扩展的数据处理解决方案，强调可维护、可配置和以测试驱动的代码交付。主要职责
• 使用 Python 和 PySpark 开发和维护数据摄取、转换和验证管道。
• 使用 Behave 实施单元和行为驱动测试，确保对依赖项进行稳健的模拟和修补。
• 设计和维护 Delta Lake 表，以优化查询性能、确保 ACID 合规性和增量数据加载。
• 使用 Docker 构建和管理容器化环境，以实现一致的开发、测试和部署。
• 开发可配置的、参数驱动的代码库，以支持模块化和可重用的数据解决方案。
• 集成 Azure 服务，包括：
• Azure Functions 用于无服务器转换逻辑
• Azure Key Vault 用于安全凭证管理
• Azure Blob Storage 用于数据湖操作
我们在寻找什么
• 在 Python、PySpark 和 Delta Lake 方面有证明的经验。
• SC 清除
• 对于测试驱动开发，具有强大的 Behave 知识。
• 具备 Docker 和容器化部署的经验。
• 熟悉 Azure 云服务和数据工程最佳实践。
• 能够在快节奏的环境中交付可扩展、可维护和可测试的解决方案。
如果您对这个职位感兴趣，请点击“立即申请”以发送最新的简历，或立即联系我们。如果这个职位不太适合您，但您正在寻找新的职位，请与我们联系，进行关于您职业的保密讨论。
Hays Specialist Recruitment Limited 作为永久招聘的就业中介和临时工供应的就业业务。通过申请此职位，您接受 T&C、隐私政策和免责声明，详细信息请访问（网址已删除）。 
