vLLM私有化部署和运行DeepSeek模型
前言 25年春节前后,随着DeepSeek的爆火,思维链、蒸馏等名词被大家所熟知。再加上DS模型开源可商用,所以很多大厂、企业都纷纷进行私&
AI
未读
Ollama+Higress+LobeChat部署高可用大模型集群
前言 本地模型部署,比较常见的方式有Ollama和vLLM,之前使用vLLM + Open WebUI完成了DeepSeek-r1-Distill-Qwen-1.5B模型,vLLM比较适合生产环境使用,其通&