优图实验室-视频全模态理解基础技术研究

课题背景：

课题挑战：

• 1. 音视频深度融合与跨模态交互： 如何设计统一的音视频联合建模架构，使模型能够精准捕捉语音内容、音频事件与视觉场景之间的语义对应与互补关系，而非各模态独立编码后简单拼接；
• 2. 细粒度时序事件感知： 视频中事件往往具有精确的时间边界与因果关联，如何使模型具备对短时动作、跨镜头事件演化、时间戳定位的高精度感知能力，是当前视频理解的核心难题；
• 3. 高效视频原生 Encoder 设计： 标准 ViT 在处理长视频时面临 Token 数量爆炸问题，如何设计原生支持视频输入的 Encoder 架构（如线性注意力、稀疏采样、时空因式分解等），在不显著损失语义信息的前提下大幅压缩计算开销，是实现实用化长视频理解的关键工程挑战；
• 4. 视频 GUI Agent 的时序决策与界面感知： 以视频流为输入的 GUI Agent 需要实时理解界面状态变化、跨帧追踪操作轨迹，并基于历史交互序列做出精准的下一步动作预测；如何将视频理解能力与 Agent 决策链路深度耦合，实现从"理解屏幕视频"到"自主完成复杂操作任务"的端到端闭环，是本方向的核心挑战。

具体工作：

• 1、计算机科学、人工智能、信号处理、模式识别、电子工程等相关专业的博士及优秀硕士；具有视频理解、多模态学习或音视频处理方向研究背景者优先；
• 2、深入理解视频/多模态理解前沿进展，熟悉 ViT、Video Transformer、Audio Encoder（如 Wav2Vec、Whisper）等技术路径；精通 PyTorch，熟悉分布式训练框架（如 DeepSpeed、Megatron-LM）；在 CVPR、ICLR、NeurIPS、ACM MM 等顶会有相关成果者优先；熟悉 CUDA 编程或高性能算子优化者更佳;
• 3、对视频理解技术有强烈的研究热情与探索欲；具备较强的工程落地能力和问题抽象能力；沟通协作能力强，能在大规模团队协作中高效推进课题；具备面对复杂系统问题的韧性与独立解决问题的能力。