腾讯云大数据-流湖一体统一增量计算引擎关键技术研究

课题背景：

课题挑战：

• 1. 统一存储引擎的高效数据更新与多模式访问：如何在远程存储上实现秒级数据合并与变更捕获，同时高效支持流读写、批读写、点查等多种访问模式的统一处理；
• 2. 存算分离架构下的存储性能优化：如何设计多级缓存与智能预取策略，在存算分离的架构下保证热数据的高效访问，并支持不同计算模式间的平滑切换；
• 3. 存储格式优化与向量化执行加速：如何优化数据存储组织方式以同时满足点查和批量扫描的性能需求，并通过向量化批处理技术大幅提升数据处理吞吐；
• 4. 关键算子的C++高性能重写与执行优化：如何将核心计算算子用C++进行高性能重写，消除运行时开销，并优化远程IO并发模型，充分利用系统资源；
• 5. 流批增量一体的调度与资源优化：如何实现同一套SQL在流/增量/批三种模式间的零代码切换，设计高效的调度与资源复用机制，大幅提升资源利用率。

具体工作：

• 1、计算机科学、软件工程、数据科学、分布式系统等相关专业硕士及以上学历；
• 2、扎实的C++编程能力，熟悉现代C++特性（C++17/20），有高性能系统开发经验；具备良好的系统编程基础，熟悉内存管理、并发编程、协程等底层技术；
• 3、熟悉大数据处理框架（如Flink、Spark）或分布式存储系统（如RocksDB、HBase、Iceberg、Paimon等）的原理与实现，有相关开发经验者优先；
• 4、了解LSM Tree、B+ Tree等存储引擎数据结构，熟悉数据库存储引擎或数据湖存储格式（Parquet、ORC等）的设计与优化，有相关项目经验者优先；
• 5、了解分布式系统基本原理，包括一致性协议、存算分离架构、缓存策略、容错机制等；
• 6、具备较强的问题分析、系统设计与工程实现能力，有良好的团队协作和沟通能力；有开源项目贡献经验者优先。