AWS数据工程师 - ETL、Python和安全(混合办公,纽约市)

纽约 11天前全职 网络
55.6万 - 69.5万 / 年
地点要求: 这是一个位于纽约市的混合角色。不提供远程工作——候选人必须居住在纽约地区或愿意搬迁到该地区。 职责: 使用Python、SQL和AWS构建数据应用程序 为从API、数据库和其他来源批量数据摄取构建ETL管道 将基本原则、方法和实践的知识应用于简单和中等复杂的任务 主动识别和实施自动化任务和开发可重用框架的机会 遵循编码、测试和设计可重用代码/组件的标准方法 在使用多种数据、搜索和AWS技术的信息安全团队中担任数据工程师 实施标准化、自动化的操作和质量控制流程,以提供准确和及时的数据和报告,以满足或超出SLA 与其他工程团队成员合作,确保所有服务可靠、可维护并与现有平台良好集成 审查功能和技术设计,以识别风险区域和/或缺失的需求 提供技术文档和图纸以推广拟议的解决方案 与工程师、项目经理和管理层合作,了解数据需求 设计、构建和部署高效的数据管道到第三方和内部开发的系统 使用Tableau、Python和R等可视化工具制作和构建报告/仪表板 资格: 4-5年AWS云和AWS服务(如S3存储桶、Lambda、API网关、SQS队列)经验 4-5年批处理作业调度和识别数据/作业依赖关系经验 4-5年使用AWS平台和Python进行数据工程的经验 熟悉AWS服务,如EC2、S3、Redshift/Spectrum、Glue、Athena、RDS、Lambda和API网关 熟悉软件DevOps CI/CD工具,如Git、Linux和Shell脚本 具备快速学习、组织和注重细节的能力 具有软件工程和开发经验 了解数据库模式设计 精通Python 具有分析数据以发现机会和解决差距的经验 具有Python、Tableau、SQL和Excel经验 具有云或本地大数据技术工作经验 具有数据质量验证经验 寻找具有安全驱动态度的个人 4-5年以上Python和SQL经验 4-5年以上数据建模经验 4-5年以上ETL设计实施和维护经验