主要职责数据管道开发：使用Databricks、PySpark和Delta Lake设计和实施稳健的ETL/ELT管道，以高效处理结构化和非结构化数据。性能优化：调整和优化Databricks集群和笔记本，以提高性能、可扩展性和成本效益。协作：与数据科学家、分析师和业务利益相关者密切合作，了解数据需求并提供满足业务需求的解决方案。云集成：利用云平台（AWS、Azure、GCP）构建和部署数据解决方案，确保与现有基础设施的无缝集成。数据建模：开发和维护支持分析和机器学习工作流的数据模型。自动化与监控：实施自动化测试、监控和警报机制，以确保数据管道的可靠性和数据质量。文档与最佳实践：维护数据工作流的全面文档，并遵循编码、版本控制和数据治理的最佳实践。必要资格经验：5年数据工程经验，具有使用Databricks和Apache Spark的实际操作经验。编程技能：精通Python和SQL；有Scala经验者优先。云平台：具有AWS（如S3、Glue、Redshift）、Azure（如Data Factory、Synapse）或GCP等云服务的丰富经验。数据工程工具：熟悉Airflow、Kafka和dbt等工具。数据建模：具备为分析和机器学习应用设计数据模型的经验。协作：证明能在跨职能团队中工作，并能与非技术利益相关者有效沟通。主要技能集Databricks、Apache Spark、Python、SQL、Scala（可选）、ETL/ELT开发、Delta Lake、云平台（AWS、Azure、GCP）、数据建模、跨职能协作、沟通次要技能集Airflow、dbt、Kafka、Hadoop、MLflow、Unity Catalog、Delta Live Tables、集群优化、数据治理、安全与合规、Databricks认证HRXlysi LLC，专家门户解决方案251 Milwaukee Ave, Buffalo Grove, IL 60089网站：电子邮件：hr@xlysi.com我们的培训门户注册：。
