首页| 资讯| 研究| 活动

多模态赛道加速:从豆包实时视频通话到千问文档理解

多模态赛道加速:从豆包实时视频通话到千问文档理解

如果说2024年国内大模型的主战场是文本推理与长上下文,那么进入2025年,多模态能力已经成为各家必争的"第二增长曲线"。近日,字节跳动旗下豆包、阿里通义千问、月之暗面Kimi、智谱清言等主流产品密集释放多模态新能力,竞争焦点从"能看图"转向"能实时看懂世界、能读懂复杂文档"。

最直观的变化来自豆包。最新版本的豆包App强化了实时视频通话能力,用户举起手机对着现实场景,模型可以边看边答:识别街边店铺招牌并翻译、对着冰箱食材给出菜谱建议、看着说明书逐步指导操作。这类"视频流+语音"的低延迟交互,背后依赖的是视觉编码器与语音识别、语音合成的端到端串联,对推理时延要求极高。字节在多模态上依托Seed系列视觉模型与自研语音栈,把响应延迟压缩到接近真人对话的体感,这是其消费级产品优势的集中体现。

阿里通义千问则把重心放在"文档与图表理解"这一生产力场景。千问的视觉理解能力已覆盖PDF、扫描件、表格、折线图、柱状图乃至手写笔记,用户上传一份几十页的财报或研报,模型可以定位图表、读取数据、做跨页对比并生成摘要。对办公人群而言,这比单纯的"看图说话"更有价值——它切入的是合同审阅、财报分析、学术文献整理等高频刚需。通义方面还强调其在中文OCR与版式还原上的积累,对手写体、印章、复杂表格的识别鲁棒性是其差异化卖点。

月之暗面Kimi延续长上下文路线,把多模态与超长文本结合:用户可上传长视频或大体积图文资料,模型在长上下文中做跨模态检索与推理。例如上传一场两小时的发布会录像,让Kimi定位"某位高管提到参数的那一段"并总结要点,考验的是视频抽帧、时序定位与长上下文记忆的协同。Kimi此前以20万汉字级上下文打开知名度,如今把这一能力延伸到视频与图像序列,瞄准的是研究与内容分析场景。

智谱清言在多模态上走的是"全栈"路线,其GLM系列视觉模型同时服务C端对话与B端API,覆盖图像描述、视觉问答、图表推理、GUI界面理解等任务。GUI理解尤其值得关注:模型能"看懂"手机或电脑截图中的按钮、输入框与菜单,为智能体自动操作软件提供感知基础,这与当前火热的AI Agent方向直接衔接。

从技术侧看,这一轮多模态竞赛有几个共同趋势。其一是"实时化",视频通话、摄像头直连成为标配,模型要从"离线批处理"转向"流式感知";其二是"长时序",从单图理解走向长视频、多页文档的跨帧跨页推理;其三是"工具化",多模态不再是炫技 demo,而是嵌入办公、教育、电商、客服等具体工作流。参数层面,各家视觉编码器普遍走向更高分辨率与动态切图,以兼顾整体场景与局部细节。

当然,挑战同样明显。视频实时交互对算力和推理成本的压力巨大,如何在消费级设备上保持流畅仍是难题;复杂图表的数值读取仍会出现"看错小数点"式的错误,可靠性尚需打磨;多模态数据版权与隐私问题也随摄像头上传而放大。对用户而言,现阶段更稳妥的用法是"人机协同"——让模型做初筛与摘要,关键数据人工复核。

总体来看,中国多模态大模型已走出"能不能"的阶段,进入"好不好用、贵不贵、稳不稳"的比拼。豆包攻实时交互、千问攻文档生产力、Kimi攻长视频长文本、智谱攻Agent感知底座,路线分化意味着竞争将从单一榜单转向场景落地。接下来值得关注的是多模态API价格能否进一步下探,以及端侧多模态能否在手机、PC上规模化落地——那才是多模态真正融入日常生活的临界点。

标签:多模态,豆包,通义千问,Kimi,智谱清言