如果说2024年多模态还停留在“给模型发张图让它描述”的演示阶段，那么近日国内几家头部厂商的密集动作表明，多模态能力正在进入“能干活”的深水区。从图像理解、视频分析到直接操作手机界面，国产多模态大模型的竞争维度正在快速抬升。
字节跳动旗下的豆包是最早把多模态做成大众产品的选手之一。近日其视觉理解能力持续迭代，在文档识别、图表解析、手写体辨认等场景上的准确率明显提升。更值得关注的是豆包在端侧的多模态交互尝试：用户可以直接拍摄一道数学题、一份合同、一张菜单，模型在识别后直接给出解题步骤、条款风险提示或翻译结果。这种“拍—识—办”的闭环，把多模态从聊天框里的玩具变成了随身助手。豆包背后的视觉编码器与语言模型联合训练策略，使其在中文场景的OCR和版面理解上具备明显本土优势，尤其是对发票、快递单、教辅材料等高频中文材料的识别稳定性。
阿里通义千问则在多模态的“专业性”上做文章。近日千问在文档智能方向持续加码，支持长文档、多页PDF、含复杂表格与公式的学术材料解析，并可将解析结果结构化输出。这一能力直接对接企业知识库、财务审单、科研文献综述等场景。千问同时强化了视频理解，能够对长视频做分段摘要与关键帧问答，在电商直播切片、课程视频检索等阿里生态内的场景中具备天然落地土壤。相比单纯比拼榜单分数，千问选择把多模态能力嵌入具体工作流，这条路径更接近商业化变现。
月之暗面的Kimi以长上下文起家，近期在多模态上的思路也延续了“长”的特点：支持一次性输入大量图片并做跨图推理，例如把几十页扫描件、多张截图放在一起比对差异、提取关键信息。这对需要处理大量图文混合材料的法律、审计、投研人群有实际价值。Kimi的多模态并非追求识别一切，而是强调“在长材料中定位并回答”，这种取舍与其产品定位高度一致。
智谱清言近期则在GUI智能体方向持续投入。所谓GUI智能体，是指模型不仅能看懂屏幕截图，还能理解界面元素、规划操作步骤，进而代替用户点击、输入、跳转。这类能力被视为多模态从“感知”走向“行动”的关键一跃，可应用于自动化测试、RPA流程替代、老年人辅助操作手机等场景。智谱方面公布的演示中，模型能够根据自然语言指令在手机App内完成查找、比价、填写表单等任务。尽管距离稳定可靠仍有距离，但方向已经清晰：多模态的终点不是描述世界，而是改变世界。
从技术层面看，这一轮多模态升级有三个共同特征。其一是视觉编码器与语言底座联合优化成为主流，早期“外挂视觉模块”的做法逐渐被端到端融合取代；其二是训练数据从公开图文对转向大量中文场景数据和界面截图数据，本土化成为差异化来源；其三是评测从静态问答转向动态任务完成，GUI操作、文档结构化、视频检索等任务型指标权重上升。
对普通用户而言，最直观的变化是“截图即输入”正在成为标配。无论是把一张报表丢给模型让它算增长率，还是把一段会议录屏丢进去让它整理待办，多模态正在把过去需要多个工具串联的流程压缩成一次对话。对开发者而言，多模态API的成熟意味着可以更低成本地构建票据识别、内容审核、无障碍辅助等应用。
当然，挑战同样明显。GUI智能体的操作准确率和容错机制尚不成熟，一旦误触可能造成真实损失；长视频理解的算力成本居高不下；多模态幻觉——比如误读图表数字、虚构图片中不存在的物体——仍是落地的主要障碍。可以预见，接下来一段时间，国产多模态模型的竞争焦点将从“能不能看懂”转向“看得准不准、干得稳不稳”。谁能把多模态能力做成可靠的生产力组件，谁就能在这轮竞赛中占得先机。
标签：多模态,豆包,通义千问,Kimi,智谱清言,GUI智能体