职责
- 设计、实施和维护支持公司数据管理流程所需的基础设施，包括存储、计算和网络资源
- 排查和解决与基础设施相关的问题，包括硬件和软件故障、网络连接问题和安全漏洞
- 设计、构建和维护支持公司基本数据分析和交易策略所需的数据管道和系统
- 开发和实施数据质量检查和监控流程，以确保数据的完整性
- 与数据科学家、投资组合经理和交易员合作，了解他们的数据需求并开发解决方案以满足他们的需求
- 构建和维护数据库、数据仓库和数据湖，以支持报告、分析和研究
- 实施ETL流程，从各种来源提取数据并将其转换为适合分析的结构化格式
- 开发和维护数据库备份和恢复程序，以确保关键数据的可用性
- 监控Airflow工作流的性能，并提出优化和改进建议
- 参与与基础设施相关的事件的值班轮换
资格
- 计算机科学、信息技术或相关领域的学士学位，或同等的工作经验
- 熟悉ETL流程、数据建模和数据库设计原则
- 熟悉SQL Server、PostgreSQL或MySQL等数据库系统
- 熟悉数据库备份和恢复程序、数据库安全和灾难恢复计划
- 熟悉数据复制、VLDB设计、查询优化和性能故障排除
- 熟悉块、协议（NFS / SMB）文件系统
- 熟悉对象存储
- 熟悉Airflow DAG
- 至少3年Python和ETL相关库（如pyodbc、SQLAlchemy和Django）的经验
- 优秀的问题解决和故障排除能力
- 较强的沟通和协作能力，能够有效地作为团队的一员工作
