职位:首席数据工程师
经验要求:9年以上
地点:远程
工作时间:6个月以上
职责:
• 主导可扩展数据管道、架构和数据集的设计、开发和管理,用于大规模数据处理。
• 监督和指导数据工程师团队,实施高效且稳健的数据解决方案。
• 在塑造和实施ETL流程中发挥领导作用,确保数据质量、完整性和可用性。
• 利用Node.JS和AWS Lambda的专业知识,开发和优化数据处理应用程序和函数。
• 熟练使用Python进行脚本编写、自动化和构建与数据相关的应用程序。
• 应用强大的SQL技能设计和优化数据库查询,确保高效的数据检索。
• 利用数据科学知识,特别是使用Pandas,支持高级分析和洞察。
• 管理和使用各种数据库,包括关系数据库和NoSQL数据库等。
• 使用Docker实现容器化,增强数据应用程序的可移植性和可扩展性。
• 开发和维护Rest API,实现系统间数据的无缝集成。
• 在数据相关的建议和决策中提供领导力和战略指导。
• 具备云平台的实际经验,特别是AWS服务。
• 熟悉企业数据仓库解决方案,如Snowflake或Databricks。
• 与数据科学家、分析师和业务利益相关者等跨职能团队合作。
• 了解行业最佳实践、新兴技术和数据工程趋势。
资格:
• 计算机科学、信息技术或相关领域的学士学位。
• 在"大数据"管理数据管道、架构和数据集方面有9年以上的经验。
• 曾在领导角色中监督数据工程师团队的经验。
• 精通Node.JS和AWS Lambda,具备3年以上构建可扩展应用程序的经验。
• 有3年以上的Python脚本编写和与数据相关应用程序开发的丰富经验。
• 深入了解SQL和数据库优化技术。
• 熟悉数据科学库,特别是Pandas。
• 有Docker容器化的实际经验。
• 擅长设计和维护Rest API。
• 之前接触过云平台,特别是AWS。
• 有企业数据仓库解决方案的经验,如Snowflake或Databricks。
• 强大的问题解决和分析能力。
• 出色的沟通和领导能力。
• 能够在协作和充满活力的团队环境中工作的能力。