关于这个职位
我们正在寻找一位具有强大实践经验的 Python 数据工程师，要求具备基于 Behave 的单元测试、PySpark 开发、Delta Lake 优化以及 Azure 云服务的经验。此职位专注于在容器化环境中设计和部署可扩展的数据处理解决方案，强调可维护、可配置和以测试驱动的代码交付。
使用 Python 和 PySpark 开发和维护数据摄取、转换和验证管道。
使用 Behave 实施单元和行为驱动测试，确保对依赖项进行强大的模拟和修补。
设计和维护 Delta Lake 表，以优化查询性能、符合 ACID 标准和增量数据加载。
使用 Docker 构建和管理容器化环境，以确保一致的开发、测试和部署。
开发可配置的、基于参数的代码库，以支持模块化和可重用的数据解决方案。
使用 Azure Functions 进行无服务器转换逻辑。
使用 Azure Blob Storage 进行数据湖操作。
我们在寻找什么
在 Python、PySpark 和 Delta Lake 方面有证明的经验。
具有 Docker 和容器化部署的经验。
熟悉 Azure 云服务和数据工程最佳实践。
Hays Specialist Recruitment Limited 作为永久招聘的就业代理和临时工供应的就业业务。申请此职位即表示您接受可在（网址已删除）找到的条款与条件、隐私政策和免责声明。 
