我们正在寻找一位数据管道和数据湖工程师,能够使用现成或开源技术来支持我们的数据平台开发,并以可访问、可扩展、可重复和安全的方式提供结构化和非结构化数据。
职责;
• 支持数据管道的设计、构建和维护,以确保多个系统之间的数据无缝集成和流动,涵盖各种频率和保真度。
• 准备、清理和转换数据,以便进行分析和报告。
• 创建并维护数据流程的全面文档。
• 识别并跟进改进和优化的机会。
• 测试数据系统配置以提高效率。
• 支持错误的处理和记录。
• 监控数据系统性能。
理想的候选人不仅对数据充满热情,还对改善可以更高效利用数据的技术充满热情。
必须具备:
1)构建可扩展和可靠的开发 ETL 管道,以从各种来源获取数据,用于数据科学/人工智能。
2)具有 SQL、NoSQL Python、数据准备、ETL 过程、数据管道和数据湖管理的经验。
3)具有云协作工具(如 O365、Atlassian)和开发工具(如 AWS、Azure)的经验。
要求:
1. 计算机科学、信息技术、计算机工程或相关领域的学位。
2. 三(3)至七(7)年开发、实施和维护数据管道、架构和数据集的经验,以及在生产中部署管道和代码的经验。
3. 精通 Python,具有脚本编写经验(其他脚本语言也可接受)。
4. 强大的 SQL 技能,使用 Informatica/Teradata 和 SQL 服务器数据库。
如果您对上述职位感兴趣,请联系 Christopher Shepherdson(EA 许可证号:11C5502 | EAP 注册号:R1877011),邮箱 cshepherdson@morganmckinley.com 或拨打 +65 6818 3193 进行保密咨询。