公司介绍
ThreatXIntel是一家初创的网络安全公司,为企业和组织提供定制且经济实惠的解决方案,以保护其免受网络威胁。我们的服务包括云安全、网络和移动安全测试、云安全评估、DevSecOps等。我们监测和测试数字环境,以在漏洞被利用之前识别出来。
职位描述
我们正在寻找一位熟练的自由职业AWS数据工程师加入我们的团队。作为一名AWS数据工程师,您将负责在AWS上开发和维护我们的数据基础设施,利用Glue、EMR和EC2等工具。在这个职位上,熟练掌握Python、SQL,并具有PySpark经验是必要的。如果您在AWS服务方面有丰富的背景,并且对利用数据驱动洞察力有激情,我们鼓励您申请。
资格要求
• 使用PySpark和AWS Glue设计、实施和维护可扩展的数据管道和ETL流程。
• 开发和优化SQL查询,以实现高效的数据检索和操作。
• 与数据科学家和分析师合作,了解数据需求并实施技术解决方案。
• 在数据生命周期中确保数据的完整性、质量和安全性。
• 实施数据治理的最佳实践,包括数据血统、元数据管理和数据质量监控。
• 及时解决与数据相关的问题。
• 保持对最新的AWS技术和数据工程趋势的了解,推动持续改进。
要求:
• 在数据工程师或类似职位上具有经验,熟练掌握PySpark、Python和SQL。
• 具有使用Glue、EMR和EC2等AWS服务的实际经验。
• 熟练使用PySpark进行数据处理和分析。
• 对数据建模、数据仓库概念和ETL原理有深入的理解。
• 具有版本控制系统(如Git)和CI/CD流水线的经验。
• 出色的问题解决和分析能力,注重细节。
• 有效的沟通和协作能力。