首页| 资讯| 研究| 活动

DeepSeek开源Janus-Pro多模态模型,视频生成能力首次向社区开放

DeepSeek开源Janus-Pro多模态模型,视频生成能力首次向社区开放

DeepSeek近日在开源社区放出Janus-Pro多模态模型,最大看点是把视频生成能力首次完整向社区开放。此前Janus系列主打统一的多模态理解与生成架构,这一次升级把视频模态纳入同一套框架,让开源用户可以在一套权重上同时完成图像问答、图像生成和短视频生成任务,这在国内开源大模型阵营中并不多见。

从公开的技术说明看,Janus-Pro延续了解耦视觉编码的思路:理解分支和生成分支各自使用独立的视觉编码器,再共享同一个Transformer主干。这样的设计让模型在做图像理解时不会被生成目标干扰,反过来生成视频时也能复用理解侧学到的语义表征。相比上一代,新版本在视频时序一致性上做了针对性优化,帧间抖动和主体漂移问题有所缓解,生成的短视频在物体形变、镜头运动方面更稳定,适合做营销素材、动态海报和电商展示视频这类轻量场景。

更值得关注的是部署门槛。Janus-Pro在参数规模上采取多档策略,较小规格的版本可以在单张消费级显卡上跑通推理,显存占用比同量级视频生成方案低不少。DeepSeek同步放出了推理脚本和量化权重,社区开发者可以直接用现成的Pipeline做二次开发。对中小团队来说,这意味着不必再为一段几秒的视频支付高昂的云端调用费用,本地部署即可完成原型验证,视频生成的门槛被实质性地拉低了一截。

在应用场景上,Janus-Pro的切口比较清晰。电商商家可以用它把静态商品图转成短循环视频,内容团队可以用它做分镜预演,教育机构可以用它把知识点插图变成动态演示。由于模型同时具备理解能力,用户可以直接用自然语言描述需求,模型先理解参考图再生成视频,省去了单独搭一套图像描述管线的麻烦。这种“理解+生成”一体的思路,正是Janus系列一直强调的差异化卖点。

放在整个行业里看,DeepSeek这一步的意味也很明确。过去一年国内大模型竞争集中在文本和图像,视频生成更多是少数几家公司的闭源产品,开源侧供给明显不足。Janus-Pro把视频生成开源,等于把这块能力交给了社区,后续很可能催生一批基于它的垂直工具,比如短视频批量生产、动态课件生成、游戏素材辅助等。对DeepSeek自身而言,开源也在反哺其生态,开发者用得越多,模型迭代的反馈就越充分。

当然,开源视频模型离生产级还有距离。分辨率、时长、可控性都还在爬坡阶段,复杂动作和长镜头仍是短板,商用前还需要人工筛选和后期处理。但方向已经清楚了:多模态统一架构加上开源策略,正在把视频生成从少数公司的演示Demo变成开发者手里的日常工具。Janus-Pro的发布,可以看作这条路径上的一次实质性推进。

标签:DeepSeek,Janus-Pro,多模态,视频生成,开源模型