Senior Data Platform & Streaming Architect（高级数据平台与实时流处理架构师）
Caterpillar8 days ago
Wuxi, China or Shanghai, ChinaSenior
Responsibilities
- 设计自动驾驶后台与现场平台的实时数据架构，覆盖数据接入、消息传输、实时计算、在线存储、查询服务和历史归档。
- 建设和演进基于 Kafka、Pulsar、Flink、CDC 等技术的流式数据基础设施。
- 设计事件模型、数据契约、主题规划、模式管理和版本兼容机制。
- 实现过滤、转换、关联、窗口计算、流式聚合、状态计算、异常检测和实时指标计算。
- 设计高吞吐、低延迟的数据处理架构并解决消息积压、背压、重复消费、乱序、延迟、数据丢失和大型消息等生产问题。
- 建立基于幂等、重试、检查点、至少一次或精确一次处理的数据一致性与交付机制。
- 规划 ClickHouse、时序数据库、OLAP 和对象存储等在线及历史数据存储架构。
- 建设实时数据服务层，为运营中心、数字孪生、调度协同系统、现场客户端和 Agent 应用提供统一数据访问接口。
- 建设数据质量、数据血缘、元数据和数据治理机制。
- 支持云、矿区本地及边缘环境中的数据同步与复制，并处理弱网、断网重连、带宽受限、数据补传和多矿区数据隔离问题。
- 建立吞吐量、端到端延迟、消费积压、失败率、存储增长和数据质量等方面的可观测性及容量管理体系。
- 与后台平台、数字孪生、连接服务、运营智能、调度算法、人工智能平台和基础设施团队协作，确定数据接口与责任边界。
Requirements
- 计算机科学、软件工程、数据工程、分布式系统、自动化或相关专业本科及以上学历。
- 具有 8 年以上数据平台、流式计算、分布式系统或大型后台平台研发经验，以及生产级实时数据系统架构和交付经验。
- 精通 Kafka、Pulsar 或同类分布式消息系统，理解分区、副本、消费组、消息顺序、可靠投递和容量规划。
- 熟练掌握 Apache Flink、Spark Structured Streaming 或同类流处理技术，并具备状态管理、窗口计算、检查点、容错、背压和性能优化经验。
- 熟悉 CDC、实时 ETL/ELT、事件驱动架构和数据同步方案。
- 熟悉 ClickHouse、时序数据库、PostgreSQL、对象存储或其他大规模分析型数据存储技术。
- 理解一致性、可用性、幂等、分布式状态、故障恢复和数据复制等分布式系统原理。
- 具备 Java、Scala、Python、Go 或类似语言的生产级工程能力。
- 熟悉 Kubernetes、容器化部署和云原生数据基础设施。
- 具备大型生产系统性能分析、容量规划、故障定位和稳定性治理能力。
- 能够从复杂业务场景中抽象数据模型、事件模型、数据契约和服务接口，并推动跨团队落地。
- 具有自动驾驶、工业物联网、智能矿山、工程机械、机器人或大规模设备数据平台经验者优先。
- 具有每秒数万至数十万级事件流、数百至数千设备并发或多站点实时平台建设经验者优先。
- 具有 Kafka、Flink、ClickHouse、Iceberg 生产架构实践者优先。
- 熟悉 MQTT、IoT Gateway、设备遥测、云边数据同步、事件溯源、数据回放、实时数字孪生、Schema Registry、数 据目录或数据质量管理者优先。
- 具有多集群、多区域或混合云/本地化部署经验，并熟悉工业场景弱网、离线运行、数据补传和带宽优化者优先。
Benefits
- 职位申请时间为 2026 年 11 月 4 日至 2026 年 12 月 3 日。
- Caterpillar 是机会均等雇主，鼓励符合条件的各年龄段候选人申请。
Tech Stack
Categories
BackendData Engineering
About Caterpillar
Caterpillar Inc. designs, manufactures, and services construction and mining equipment, diesel and natural gas engines, industrial gas turbines, and diesel-electric locomotives for infrastructure, resource, and energy customers. The public company, founded in 1925 and headquartered in Irving, Texas, sells primarily through an independent worldwide dealer network and provides equipment financing. It operates through Construction Industries, Resource Industries, and Energy & Transportation segments, with shares traded on the NYSE and Euronext Paris.