自由职业的AWS数据工程师

14个月前兼职
ThreatXIntel

ThreatXIntel

location 多伦多
unsaved
公司介绍 ThreatXIntel是一家初创的网络安全公司,为企业和组织提供定制且经济实惠的解决方案,以保护其免受网络威胁。我们的服务包括云安全、网络和移动安全测试、云安全评估、DevSecOps等。我们监测和测试数字环境,以在漏洞被利用之前识别出来。 职位描述 我们正在寻找一位熟练的自由职业AWS数据工程师加入我们的团队。作为一名AWS数据工程师,您将负责在AWS上开发和维护我们的数据基础设施,利用Glue、EMR和EC2等工具。在这个职位上,熟练掌握Python、SQL,并具有PySpark经验是必要的。如果您在AWS服务方面有丰富的背景,并且对利用数据驱动洞察力有激情,我们鼓励您申请。 资格要求 • 使用PySpark和AWS Glue设计、实施和维护可扩展的数据管道和ETL流程。 • 开发和优化SQL查询,以实现高效的数据检索和操作。 • 与数据科学家和分析师合作,了解数据需求并实施技术解决方案。 • 在数据生命周期中确保数据的完整性、质量和安全性。 • 实施数据治理的最佳实践,包括数据血统、元数据管理和数据质量监控。 • 及时解决与数据相关的问题。 • 保持对最新的AWS技术和数据工程趋势的了解,推动持续改进。 要求: • 在数据工程师或类似职位上具有经验,熟练掌握PySpark、Python和SQL。 • 具有使用Glue、EMR和EC2等AWS服务的实际经验。 • 熟练使用PySpark进行数据处理和分析。 • 对数据建模、数据仓库概念和ETL原理有深入的理解。 • 具有版本控制系统(如Git)和CI/CD流水线的经验。 • 出色的问题解决和分析能力,注重细节。 • 有效的沟通和协作能力。