市场数据工程师 – 定量交易公司 我们正在寻找一位市场数据工程师，负责管理来自全球交易所的数PB历史市场数据的捕获、标准化和分发。您将与研究、开发和基础设施团队密切合作，确保我们的数据管道可靠、高效，并满足交易和研究操作的高性能需求。
主要职责：
- 管理大规模、时间敏感的市场数据捕获和标准化管道。
- 维护和增强内部数据格式及常用的下游研究数据集。
- 与基础设施团队合作，确保可靠的数据包捕获过程。
- 为新的数据源实施稳健的数据验证和监控。
- 提供生产支持，排除问题，并确保及时解决。
资格要求：
- 有构建和维护极大规模ETL管道的经验。
- 精通Python和Bash；熟悉C++。
- 具备计算机网络基础知识。
- 有使用ETL编排框架（例如，Airflow、Luigi、Dagster）的经验。
- 有分布式计算环境（例如，Slurm、Celery、HTCondor）的经验。
优先考虑：
- 有二进制市场数据规范（例如，ITCH、MDP3）的经验。
- 理解高性能文件系统和列式存储格式。
这是一个高影响力的角色，您的工作将直接支持前沿的定量研究和交易策略，处理一些最具挑战性的市场数据。 
