DeepSeek大模型本地部署方法

发表于 | 更新于 | 评论数： | 阅读次数：

DeepSeek如此火热，不禁也研究一下本地部署DeepSeek的方法。

Ollama 安装和使用

Ollama是一款启动并运行大型语言模型的工具。

安装完成后，我们直接打开命令行执行 ollama –version 判断是否安装成功。

ollama 会在我们本地服务监听 11434 端口。

在线部署大模型

我们可以直接使用 ollama run 模型名称 来下载和运行我们想要的模型。例如：

1
2
3
4
5
6
# 查看ollama版本
ollama --version
# 下载大模型
ollama pull deepseek--r1:1.5b
# 运行大模型
ollama run deepseek-r1:1.5b

离线部署大模型

1
2
3
4
5
6
7
8
# 在联网生成大模型描述文件
ollama show deepseek-r1:1.5b --modelfile > modelfile.txt

# 复制大模型和大模型描述文件到离线电脑某个文件夹，然后使用如下命令离线部署
ollama create deepseek-r1:1.5b -f modelfile.txt

# 验证是否离线部署成功
ollama list

与AI交互的客户端

ChatBox 桌面客户端

Chatbox 是一款开源的 AI 客户端，专为与各种大型语言模型进行交互而设计。它支持包括 Ollama 在内的多种主流模型的 API 接入，无论是本地部署的模型，还是其他服务提供商的模型，都能轻松连接。

连接本地 Ollama 服务

连接远程 Ollama 服务

请参考：

Open-webui Web客户端

Open-WebUI是一个可扩展、功能丰富且用户友好的自托管人工智能平台，设计上完全离线运行。它支持各种大语言模型（LLM）执行器，如 Ollama和兼容OpenAI的APIs ，并内置了用于检索增强生成（RAG）的推理引擎，使其成为一个强大的AI部署解决方案 。

部署过程请参考：

Page Assist + Ollama - 实现本地模型联网

Chatbox 提供了联网功能，但是 DeepSeek R1 模型是没办法联网。

想要让本地模型联网我们还得靠一个浏览器插件 Page Assist。

Page Assist 是一款开源的浏览器扩展程序，旨在为本地 AI 模型（如 Ollama）提供便捷的交互界面。

RAG 打造知识库

RAG 架构介绍

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与生成模型的人工智能技术，旨在通过检索外部知识库中的信息来增强语言模型的生成能力。

LLM（Large Language Model，大语言模型）

Embedding（嵌入）：通过一个专门的模型来把你上传的文本、表格数据等本地文件处理成机器能理解的 “数字代码”。相似的文本在这个向量空间中距离会更近。比如，“苹果”和“水果”这两个词的嵌入向量就会比较接近，而“苹果”和“汽车”就会离得很远。

Vector Database（向量数据库）：用来存储上一步处理好的 “数字代码” 的数据库，它能够高效地存储和检索这些向量。当你有一个问题时，它会把问题转换成向量，然后在这个仓库里快速找到和问题最相关的向量。比如，你问“苹果是什么？”它会在这个仓库里找到和“苹果”相关的向量，比如“水果”“红色”“圆形”等。

Anything LLM

Anything LLM 是一款基于 RAG架构的本地知识库工具，能够将文档、网页等数据源与本地运行的大语言模型（LLM）相结合，构建个性化的知识库问答系统。

知识库的构建请参考:

大模型微调

Fine-tuning（微调）：通过特定领域数据对预训练模型进行针对性优化，以提升其在特定任务上的性能。

请参考：

参考链接

  1. 如何拥有一个无限制、可联网、带本地知识库的私人 DeepSeek？,by ConardLi​.
  2. 如何把你的 DeePseek-R1 微调为某个领域的专家？,by ConardLi​.
  3. DeepSeek + Cherry Studio：简捷搭建个人知识库,by 苏点点.
  4. 打造DeepSeek最强外挂！一篇文章教会你搭建「个人知识库」（喂饭版）,by m0_63171455.
  5. LLM context 长度分析与提升方法总结,by phynlp.
  6. What do you mean exactly with “embedding length” ?,by reddit.
  7. What is Quantization in LLM,by Nithin Devanand.
  8. 什么是大语言模型量化? 每个量化精度都代表什么?,by karminski.
  9. 大模型｜“上下文长度”和“上下文窗口”不再傻傻分不清楚！,by 智识可乐.
  10. 本地部署deepseek模型保姆级教程,by lovefc.
  11. 跟着DW学习大语言模型-什么是知识库，如何构建知识库,by 羞儿.
  12. DeepSeek +Kimi 免费快速生成PPT！,by UIED用户体验交流学习.