vLLM私有化部署和运行DeepSeek模型
前言 25年春节前后,随着DeepSeek的爆火,思维链、蒸馏等名词被大家所熟知。再加上DS模型开源可商用,所以很多大厂、企业都纷纷进行私&
AI
未读
cursor使用指南
前言 随着大语言模型的飞速发展,AI 编程产品正日益受到开发者乃至非开发者的青睐。它们极大地降低了编程门槛,让代码的实现变得前所未有的简单——你只需用自然语言与 AI 沟通,即可生成所需代码。 在众多 AI 集成开发应用中,Cursor 无疑是其中的佼佼者。这款主流的 AI-Native 开发环境,
AI
未读
Ollama+Higress+LobeChat部署高可用大模型集群
前言 本地模型部署,比较常见的方式有Ollama和vLLM,之前使用vLLM + Open WebUI完成了DeepSeek-r1-Distill-Qwen-1.5B模型,vLLM比较适合生产环境使用,其通&