智谱清言近日上线实时视频通话功能,把多模态交互从“传图提问”推进到“边看边聊”。用户在App内发起视频通话后,摄像头画面会持续输入模型,清言可以实时识别镜头中的物体、场景和文字,并直接用语音回应,延迟控制在可接受的对话范围内。这意味着国产AI助手第一次在消费级产品里把视频流作为常态输入,交互形态向“看得见”迈了一步。
从能力细节看,这项功能背后依托的是智谱GLM系列的多模态模型。视频通话过程中,模型需要连续处理帧序列,完成物体检测、场景理解、OCR识别和语音问答的串联。实际体验中,用户可以举着手机对准冰箱问食材能做什么菜,对着说明书让模型念出步骤,或者对着街边招牌询问翻译和背景信息。与传统拍照问答相比,视频通话的优势在于连续性和上下文——不用反复拍照上传,模型能跟着镜头变化持续更新理解,对话更接近人与人之间的自然交流。
智谱在多模态上的积累是这项功能落地的基础。GLM系列此前已具备图像理解、文档解析和视频理解能力,清言产品端也上线过图片问答、文件解读等功能。实时视频通话相当于把这些能力串成一条低延迟的流水线:端侧负责采集与编码,云端模型做流式推理,再把结果转成语音回传。工程难点主要在延迟和成本控制,智谱通过帧采样策略和推理优化,把单次响应压到用户可以接受的区间,同时避免长时间通话带来的算力开销失控。
应用场景上,这类功能天然适合几类需求。一是生活助理,比如烹饪指导、家电排障、植物识别;二是学习辅导,学生把题目或实验过程对着镜头展示,模型边看边讲;三是无障碍场景,视障用户可以用它描述周围环境、读出屏幕和标识信息。对老年用户来说,视频通话的交互门槛也比打字低得多,说一句话、举一下手机就能得到回应,这对AI助手的普及有实际意义。
放到竞争格局里看,实时视频交互正在成为多模态助手的下一处战场。海外方面,多家公司已在推进摄像头实时理解能力;国内Kimi、豆包、千问等产品也在多模态方向持续加码,但把视频通话做成App内常态化功能的还不多。智谱这一步抢的是一个交互入口:当模型能持续看见现实世界,助手的可用场景就从“问答工具”扩展到“随身观察者”,用户黏性和使用频次都会随之改变。
当然,实时视频也带来新的问题。隐私是最直接的一项,摄像头持续采集画面,数据如何处理、是否留存,需要产品给出清晰说明;其次是准确性,模型对快速移动、光线复杂画面的理解仍会出错,用户需要建立合理预期。总体来看,智谱清言这次上线更像一次交互范式的试探,视频通话能不能成为AI助手的标配能力,接下来要看延迟、成本和真实场景体验能否同步打磨到位。
标签:智谱清言,GLM,多模态,实时视频,AI助手
