DeepSeek开源模型持续迭代,本文以最新权重为例,手把手演示基于Ollama与vLLM的本地部署全流程,涵盖环境配置、量化选型、显存估算与API对接,附常见报错排查清单。
近日字节跳动开源豆包1.5 Pro模型,本文以Ubuntu 22.04+单卡RTX 4090为环境,完整记录从环境准备、权重下载、vLLM启动到256K长文本压测与量化调优的12个步骤,附显存占用与吞