腾讯
实习基于LSM的分布式数据库冷热分层存储架构研究
深圳总部 · 实习 · 本科
长期有效
任职要求
- 1、计算机科学、软件工程、电子信息等相关专业本科及以上学历;
- 2、熟练掌握数据结构、算法、操作系统、计算机网络等计算机基础知识;
- 3、熟练掌握至少一门编程语言,例如:C/C++、Java、Python、Go等;
- 4、具备强烈的学习意愿和能力,能够快速掌握新技术;
- 5、具备良好的沟通能力和团队合作精神,能够积极主动地解决问题。
岗位描述
【岗位职责】
课题背景:
随着数字化转型加速,企业数据呈现爆发式增长态势,海量数据存储已成为云原生分布式数据库面临的核心挑战之一。传统单一存储介质(如本地SSD/HDD)难以兼顾高性能与低成本需求——高性能介质成本高昂,而低成本介质无法满足高频访问需求;同时,云环境下对象存储凭借近乎无限的容量和低廉的单位存储成本成为降本关键,但其高延迟特性与数据库的实时访问要求存在天然矛盾。在此背景下,构建适配海量数据场景、融合异构存储介质优势的冷热分层存储架构,成为云原生分布式数据库突破存储瓶颈、实现成本与性能平衡的重要方向。
课题挑战:
本课题需攻克以下:
核心挑战:
- 1、异构介质的协同管理难题:需将本地SSD(高性能)、HDD(中性能)、云盘(弹性扩展)、对象存储(低成本)等异构介质统一纳管,实现数据在不同层级间的透明流转与高效调度,避免因介质差异导致的访问中断或性能抖动;
- 2、冷热数据的精准识别困境:冷热数据划分依赖多维动态特征(如访问频率、时间衰减效应、业务语义关联),传统静态阈值或简单统计方法易导致误判(如短期低频但长期重要的数据被错误归档),需在迁移开销(计算/网络成本)与成本收益间找到最优平衡点;
- 3、冷数据访问的性能瓶颈:对象存储的低延迟劣势可能导致冷数据访问超时,影响业务SLA;如何通过预取、缓存、IO合并等技术弥补性能差距,同时保持架构轻量化,是一大技术难点;
- 4、全局成本与性能的权衡优化:需在保障数据库核心性能指标(如读写延迟、吞吐量)的前提下,最大化对象存储的使用比例以降低总拥有成本(TCO),避免因过度追求低成本导致性能劣化。
具体工作:
实习生主要参与核心模块创新开发,包括异构介质协同流转、多维度动态冷热识别模型、低延迟预取缓存优化及多目标成本-性能平衡策略,突破关键技术瓶颈。
【任职要求】
- 1、计算机科学、软件工程、电子信息等相关专业本科及以上学历;
- 2、熟练掌握数据结构、算法、操作系统、计算机网络等计算机基础知识;
- 3、熟练掌握至少一门编程语言,例如:C/C++、Java、Python、Go等;
- 4、具备强烈的学习意愿和能力,能够快速掌握新技术;
- 5、具备良好的沟通能力和团队合作精神,能够积极主动地解决问题。
【技术方向】
其他
你的简历匹配这个岗位吗?
上传简历,AI 会对照这份 JD 指出你的差距和需要补强的地方
该岗位可能会问的问题
基于 数据 岗位的常见面试问题整理
请解释数据仓库的星型模型和雪花模型的区别
查看答题思路
1. 星型:事实表在中间,维度表直接关联,维度表非规范化(有冗余) 2. 雪花:维度表进一步规范化,减少冗余但增加 join 次数 3. 选择:星型查询快(join 少),雪花存储省,一般生产用星型更多
如何设计一个埋点体系来追踪用户行为
查看答题思路
1. 确定业务目标:留存/转化/活跃 2. 定义事件:页面浏览/点击/曝光/转化,每个事件带属性 3. 技术栈:前端 SDK 上报 → Kafka → Flink 实时清洗 → ClickHouse/Hive 存储 4. 数据分层:ODS(原始)→ DWD(明细)→ DWS(汇总)→ ADS(应用) 5. 质量:埋点测试 + 数据校验 + 异常告警
SQL:有一个用户登录表 user_login(user_id, login_date),查询连续登录超过 7 天的用户
查看答题思路
1. 思路:用 login_date 减去排名序号(ROW_NUMBER),同组连续日期差值相同 2. 关键 SQL:SELECT user_id, login_date-ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY login_date) AS grp 3. GROUP BY user_id, grp HAVING COUNT(*) >= 7 4. 强调:理解窗口函数和连续性问题的一般解法
你做过最有价值的数据分析项目是什么
查看答题思路
1. 业务背景:分析什么、为什么重要 2. 数据来源和量级 3. 分析方法:用了什么模型/统计方法 4. 核心发现:一句话说清洞察 5. 业务影响:做了什么决策、带来了什么改变(用数字)
解释 A/B 测试的原理和常见陷阱
查看答题思路
1. 原理:分流用户到对照组和实验组,对比核心指标差异 2. 统计基础:假设检验,p<0.05 表示差异显著 3. 陷阱:样本量不足、运行时间太短(未覆盖周期波动)、多重比较(同时做多组 A/B 需修正显著性水平) 4. 指标选择:北极星指标优先,避免虚荣指标
更多面试题库功能即将上线
信息来源:企业官方招聘页。投递前请以官网信息为准。