日前,智谱旗下AI助手智谱清言上线了实时视频通话功能,用户在App内发起通话后可直接开启摄像头,与模型进行语音加视觉的连续多轮对话。与过去“拍照—上传—等待回复”的单轮图像问答不同,这一功能强调低延迟的流式交互:模型持续接收视频帧和语音输入,边看边说,用户可以随时打断、追问或移动镜头,体验接近真人视频通话。这一动作被视为国产大模型在实时多模态交互方向上的又一次明确落子。
从公开演示看,该功能重点打磨了几个典型场景。一是实物识别与讲解,用户把镜头对准一台家电或一株植物,模型能边看边说出型号特征、养护要点;二是操作指导,比如对着路由器指示灯拍摄,模型会逐步提示排查步骤;三是语言陪练,模型根据用户的口型和发音给出即时纠正。这类场景的共同点是对时延敏感、对多轮上下文要求高,恰好是传统“截图问答”模式的短板。智谱方面透露,为实现流畅体验,团队在端侧做了帧采样与压缩优化,云端则采用流式多模态推理架构,把首字响应压到数百毫秒量级。
放到行业坐标里看,实时视频交互正在成为多模态竞争的下一站。字节豆包依托自身在视频编解码和端侧推理上的积累,此前已在部分场景测试摄像头实时问答;阿里千问在多模态方向持续投入,重点之一也是视觉流的连续理解;Kimi则以长上下文见长,在长视频与文档混合输入上寻找差异化。相比之下,智谱清言的优势在于把“能看会说”做成了完整的通话式产品形态,而非藏在对话框里的一个上传按钮,交互心智更清晰。
不过,实时视频通话对成本与工程的要求远高于文本对话。视频帧持续上传意味着带宽与推理算力的双重压力,若用户长时间通话,单次会话的token消耗可能达到纯语音对话的十倍以上。如何在画质、帧率、响应速度和成本之间取得平衡,是这类功能能否大规模普及的关键。此外,隐私问题也不容忽视——摄像头持续开启意味着更敏感的数据采集,端侧预处理、帧级脱敏和明确的授权提示都将是产品必须回答的问题。
从应用前景看,实时视频交互最有可能率先在几个垂直场景落地:面向老人的用药与设备使用指导、面向一线工人的设备排障、面向学生的实验操作陪练,以及面向游客的实景导览。这些场景的共同特征是“说不如看”,文字与语音描述效率低,而视觉加语音的即时反馈恰好补位。智谱清言此次上线视频通话,与其说是功能堆叠,不如说是在为多模态Agent积累真实世界的交互数据。当模型能稳定地边看边聊,下一步自然是替用户动手完成任务,这条路径上的竞争才刚刚开始。
标签:智谱清言,多模态,实时交互,AI助手
