多模态能力正在成为国产大模型新一轮竞争的焦点。如果说过去一年行业比拼的是「谁能看懂图片」，那么近日的最新动向显示，战场已经转向「谁能看懂界面并直接动手操作」。从智谱、月之暗面到阿里通义、字节豆包，多家厂商在多模态理解、GUI智能体、视频生成等方向接连放出新进展，模型能力的边界被不断推高。
最值得关注的变化，是多模态模型开始具备「操作」能力。传统视觉语言模型大多停留在识别与描述层面，用户上传一张截图，模型告诉你图中有什么。而新一代模型则尝试理解手机或电脑界面的控件层级、按钮位置与操作逻辑，进而替代用户完成点击、滑动、输入等动作。这类被业界称为GUI Agent的能力，被认为是多模态模型从「感知」走向「执行」的关键一步。目前已有国产模型在安卓与桌面环境下的界面理解任务上取得明显提升，能够处理跨应用跳转、表单填写等复合任务，尽管在复杂长链路场景下仍会出现误操作，但方向已经清晰。
在基础理解能力上，国产多模态模型的参数规模与训练数据也在同步升级。据公开信息，国内头部厂商的视觉编码器普遍采用更高分辨率输入与动态切图策略，以应对文档、表格、密集文字等复杂图像。部分模型支持单次输入数十张图片并进行跨图推理，在票据识别、图表问答、试卷解析等场景中的准确率较上一代有明显改善。与此同时，中文场景的OCR与版面理解被作为差异化重点打磨，针对汉字密集、竖排、手写体等难点做了专门优化，这在与国际模型的横向对比中构成了本地化优势。
视频方向同样热闹。继文生视频产品在创作者群体中引发讨论后，国产厂商开始把视频生成与视频理解打通。一方面，模型可以根据文本或首帧图像生成数秒到十余秒的短视频，支持镜头运动与风格控制；另一方面，视频理解能力被用于内容审核、教学分析和体育赛事拆解等B端场景。有厂商将视频理解与长上下文结合，支持对长达数十分钟的视频做时间轴定位与事件检索，用户可以直接提问「第几分钟出现了什么」，模型给出带时间戳的回答。这类能力在在线教育与会议记录场景中具备直接落地的价值。
端侧部署是另一条并行推进的主线。受限于算力与功耗，把多模态模型塞进手机、平板和车机并非易事，但近日多家芯片厂商与模型公司联合展示了端侧多模态方案：通过量化压缩与异构计算调度，中小参数量的视觉语言模型可以在移动设备上完成实时图像问答、屏幕内容理解和离线翻译。端侧的优势在于隐私与延迟，用户照片不必上传云端即可完成分析，这对注重数据合规的行业客户颇具吸引力。业内普遍认为，未来多模态能力将呈现「端云协同」格局——简单任务在本地即时处理，复杂推理再交由云端大模型完成。
应用层面的落地也在提速。在办公场景，多模态模型被集成进文档工具，用户上传一份扫描版合同或手绘流程图，模型可完成信息抽取、要点总结与结构化输出；在教育场景，拍照讲题、作业批改已形成较成熟的产品形态；在电商与本地生活领域，商品图生成、主图优化、短视频素材批量生产成为中小商家的实用工具。值得注意的是，多模态能力的调用成本正在下降，部分厂商通过分级定价与缓存机制，把高频图像理解任务的单价压到较低水平，这为大规模商业化扫清了障碍。
当然，挑战依然存在。多模态模型的幻觉问题在图像细节描述上尤为突出，模型可能「编造」图中并不存在的文字或物体；界面操作类智能体则面临权限管理、误触风险与安全边界的现实考验。如何在提升能力的同时保证可靠性，是各家厂商下一阶段必须回答的问题。可以预见，随着评测体系逐步完善与工程化能力持续积累，国产多模态模型将从「炫技」阶段走向「可用」阶段，真正嵌入到千行百业的日常工作流之中。
标签：多模态,大模型,GUI智能体,端侧AI,视频生成