技能：
AWS 云和 ETL 开发人员
地点：
休斯顿, 德克萨斯州 / 泽西城, 新泽西州
类型：
合同
主要职责和技术技能：
技术技能：
• ETL 工具：
Talend（优先考虑）
• 数据库：
Snowflake, Oracle, Amazon RDS（Aurora, Postgres）, DB2, SQL Server 和 Cassandra,
• 大数据和亚马逊服务：
Apache Sqoop, AWS S3, Hue, AWS CLI, Amazon EMR, Amazon MSK, Amazon Sagemaker, Apache Spark
• 数据建模工具：
Archimate（非强制- 次要/优先考虑）, Erwin, Oracle 数据建模工具（次要/优先考虑）
• 调度工具：
Autosys, SFTP, AirFlow（优先考虑。任何资源都可以学习如何使用它）
注意：
（黄色高亮的技能是必需的）未高亮的技能，即使没有，也应在入职后学习
主要职责：
• 设计、构建和自动化使用 AWS 服务（如 Apache Sqoop, AWS S3, Hue, AWS CLI, Amazon EMR, Amazon MSK, Amazon Sagemaker, Apache Spark）的 ETL 过程。
• 开发和维护数据管道，以将来自不同来源的数据移动和转换到数据仓库或数据湖中。
• 通过验证、清理和监控 ETL 过程来确保数据质量和完整性。
• 优化 ETL 工作流，以提高在 AWS 环境中的性能、可扩展性和成本效率。
• 解决与数据处理和 ETL 工作流相关的问题。
• 实施和维护数据管道和基础设施的安全措施和合规标准。
• 记录 ETL 过程、数据映射和系统架构。
• 实施 IAM 角色和访问控制等安全措施。
• 诊断和解决与 AWS 服务、基础设施和应用程序相关的问题。
• 精通大数据工具和 AWS 服务：
包括与数据存储和处理相关的 Apache Sqoop, AWS S3, Hue, AWS CLI, Amazon EMR, Amazon MSK, Amazon Sagemaker, Apache Spark。
• 强大的 SQL 技能：
用于查询数据库和在转换过程中操作数据。
Diverse Lynx LLC 是一个平等就业机会的雇主。所有合格的申请者将获得应有的就业考虑，不会受到任何歧视。所有申请者将仅根据其能力、技能和证明的能力来评估，以执行相应角色中概述的职能。我们在公司各级中促进和支持多元化的劳动力。 
