职位描述：数据工程师（OT数据）（类别 - 工程师）
行业：石油和天然气
地点：卡塔尔多哈
经验：10年
关于我们
在Codvo，我们致力于构建可扩展的、面向未来的数据平台，以推动业务影响。我们相信创新、协作和成长的文化，在这里工程师可以进行实验、学习和成长。加入我们，成为解决复杂数据挑战的团队的一员，利用创造力和尖端技术。
机会：
数据工程师将成为我们交付战略的基础架构师，负责构建和维护我们已定义用例所需的数据生态系统。您将成为我们庞大复杂的数据源与我们高级分析目标之间的关键纽带。这涉及到解决石油和天然气行业的独特挑战，连接操作技术（OT）——实时钻井数据、SCADA系统和地震勘测——与信息技术（IT）的世界。您的任务是构建特定的高性能数据管道，以交付我们的项目组合。这不仅仅是简单的数据移动；您将创建可靠、可扩展和安全的数据产品，作为我们最关键的AI模型和分析仪表板的燃料，直接实现可触及的业务价值和竞争优势。
主要职责：
• 架构和构建数据管道：设计、构建、安装、测试和维护高度可扩展的数据管理系统和ETL/ELT管道。
• 集成多样化数据源：开发流程以从SCADA系统、历史记录系统（如OSIsoft PI、Aspen InfoPlus.21）、DCS、PLC和物联网传感器中摄取和集成高容量、高速数据。
• 云数据平台开发：在Microsoft Azure云平台上实施和管理数据解决方案，利用Azure IoT Hub、Azure Event Hubs和Azure Stream Analytics等服务进行实时摄取和处理操作技术（OT）数据。
• 数据建模和仓储：设计和实施针对工业资产时间序列数据优化的数据模型，支持操作仪表板和实时分析。
• 支持高级AI：构建数据基础设施以支持AI/ML模型，用于预测性维护、操作异常检测和使用实时OT数据的过程优化。
• 主数据管理（MDM）倡导者：设计和实施MDM策略和解决方案，以创建井、设备和资产等关键数据域的单一权威数据源，确保企业范围内的数据一致性。
• 确保数据质量和治理：实施强大的数据质量检查、验证规则和监控，以确保数据的准确性、一致性和可靠性。遵循并帮助制定我们的数据治理政策。
• 采用行业标准：倡导和实施行业特定的数据标准和模型，如OSDU数据平台，以确保互操作性和上游生命周期的统一数据视图。
• 协作与创新：与地球科学家、钻井工程师、数据科学家和业务分析师组成的跨职能团队密切合作，了解他们的数据需求并提供有效的解决方案。
• 自动化和优化：识别流程自动化和基础设施优化的机会，以提高数据交付、可扩展性和成本效益。
• 安全第一：实施和维护安全最佳实践，以保护我们的敏感和专有数据资产。
所需技能和资格：
• 工程、信息系统或相关定量领域的学士学位。
• 多年在数据工程角色中的证明经验。
• 石油和天然气行业经验者优先。
• 在构建和运营大规模数据管道和应用程序方面的可证明经验。
技术熟练度：
• 在SQL和Python数据操作和管道开发方面的专家级熟练度。
• 大数据技术：具有Apache Spark（PySpark）等分布式计算框架的实践经验。具有Kafka等流技术经验者优先。
• 云平台：具有Microsoft Azure（Azure Data Lake Storage、Azure Data Factory、Azure Databricks、Azure Synapse）的深厚经验。
• 数据仓储/湖仓：具有现代数据平台Databricks Delta Lake的证明经验。
• AI和ML知识：了解机器学习生命周期以及训练和部署AI/ML模型的数据需求。
• 编排：具有Airflow、Dagster或Azure Data Factory等工作流编排工具的经验。
• 数据库：对关系型（如PostgreSQL、SQL Server）和NoSQL数据库的深刻理解。具有图数据库（如Neo4j）和向量数据库经验者优先。
• 版本控制：熟练掌握Git和CI/CD最佳实践。
优先资格：
• 熟悉历史记录系统（如OSIsoft PI系统）及其数据结构。
• 具有OSDU数据平台的实践经验。
• 具有工业通信协议（如OPC UA、Modbus TCP/IP）工作经验。
• 了解OT环境和数据隔离的网络安全考虑。
• 具有将数据集成到SAP等ERP系统的经验。
• 具有Azure或Databricks的专业认证。
• 高级SQL技能，包括查询优化和性能调优。
• 了解容器化技术（Docker、Kubernetes）。
• 具有构建和维护企业知识图谱的经验。
领域 - 石油和天然气
地点 - 卡塔尔多哈
