职位： 高级大数据工程师
地点： 新泽西州（混合办公）
时长： 6 个月以上
职位描述：
请提交可以参加面对面面试的候选人，差旅费用由客户承担。
我们正在寻找一位高技能且经验丰富的高级数据工程师，加入我们充满活力的团队。作为高级数据工程师，您将在设计、实施和维护大数据项目的数据管道和基础设施方面发挥关键作用。您在 Java、Python、Spark 集群管理、数据科学、大数据、REST API 开发以及对 Databricks 和 Delta Lake 的知识将对推动我们数据计划的成功至关重要。
职责：
- 使用 Java、Python 和 Spark 设计、开发和实施可扩展的数据管道和 ETL 流程。
- 与数据科学家、分析师及其他相关方合作，理解数据需求并设计高效解决方案。
- 管理和优化 Spark 集群，以确保高性能和可靠性。
- 执行数据探索、数据清理和数据转换任务，为分析和建模准备数据。
- 开发和维护数据模型和架构，以支持数据集成和分析。
- 实施数据质量和验证检查，以确保数据的准确性和一致性。
- 利用 REST API 开发技能创建和集成数据服务及端点，以实现无缝的数据访问和使用。
- 监控和排除数据管道性能问题，识别和解决瓶颈和问题。
- 关注大数据、数据工程、数据科学和 REST API 开发的最新技术和趋势，并提供流程改进建议。
- 指导和辅导初级团队成员，提供技术领导并分享最佳实践。
资格：
- 计算机科学、数据科学或相关领域的硕士学位。
- 至少 3 年的数据工程专业经验，熟悉 Java、Python、Spark 和大数据技术。
- 精通 Java 和 Python 编程，具备构建可扩展和可维护代码的专业技能。
- 具备 Spark 集群管理、优化和性能调优的丰富经验。
- 对数据科学概念有扎实的理解，并有与数据科学家和分析师合作的经验。
- 精通 SQL，并有使用关系数据库（例如 Snowflake、Delta Tables）的经验。
- 有使用 Flask 或 Spring 等框架设计和开发 REST API 的经验。
- 熟悉基于云的数据平台（例如 Azure）。
- 有数据仓库概念和工具（例如 Snowflake、BigQuery）的经验者优先。
- 具备强大的问题解决和分析能力，能够应对复杂的数据工程挑战。
- 优秀的沟通和协作能力，能够在团队导向的环境中有效工作。
如果您是一位积极进取、技能高超的高级数据工程师，对大数据、数据工程和 REST API 开发充满热情，我们期待您的加入。加入我们的团队，为我们数据驱动的计划的成功做出贡献，努力在行业中产生重要影响。 
纽约