工作职责
- 设计和优化可扩展的数据工作流程，具备数据加载模式、数据架构等方面的专业知识。
- 开发和维护支持实时和批处理的稳健数据管道。
- 从各种来源提取和整合数据，在实时业务条件下开发和扩展模型。这包括在数据层和应用层之间通过API进行接口。
- 利用SQL确保高效的数据转换和分析。
- 实施数据建模最佳实践以支持AI/ML应用，包括模式设计、分区策略和性能优化的索引。
- 将多样化的数据源（如结构化、半结构化和非结构化）整合到统一的数据架构中，为AI驱动的应用和洞察提供动力。
- 训练适合商业用途的高级模型和算法——模型包括计算机视觉模型、预测模型、路线优化等。
- 团队合作以确保数据准备、特征工程管道和实验的可重复性。
- 通过实施验证、血统追踪和合规标准来倡导数据质量和治理。
- 担任数据工程师、软件工程师、云工程师和AI科学家多重角色。
职位要求
- 工程、经济学、数学、计算机科学或相关领域的本科及以上学历。
- 至少8到10年相关职位的数据处理工作经验。
- 熟悉数据操作、统计分析和机器学习理论。这包括从各种来源提取和整合数据，在实时业务条件下开发和扩展模型。这包括在数据层和应用层之间通过API进行接口。
- 理解软件工程实践（如版本控制）、容器化、CI/CD管道。
- 有使用TensorFlow、PyTorch等框架部署模型的经验，并且对Azure、Databricks、Fabric等平台非常熟悉。
- 精通SPARK、Python、Java、SQL、Pandas、Hugging Face、Open AI APIs。
- 在全栈软件工程和数据工程方面具有高级水平，并且有丰富的Azure等平台工作经验。
- 熟悉数据伦理和治理，包括数据安全管理的最佳实践。
- 工作地点：60 Pioneer Road, Tuas。
