最近想离线部署一套AI编程工具，以提高生产力。首先研究离线部署LLM的方法，再研究离线部署AI Agent的方法。

Ollama 离线安装

目前LLM主流部署框架与工具主要有：Ollama、llama.cpp、vLLM、LM Studio、Xinference、Hugging Face Transformers。综合考虑，先从最简单的开始，离线部署Ollama。

根据机器的CPU指令集，从github官网下载 Ollama的安装包，这里选择绿色版的ollama-windows-amd64.zip。

安装过程

解压ollama-windows-amd64.zip到安装目录，并将 ollama 的安装目录添加到系统环境变量 PATH 中。

配置过程

• 修改 Ollama 下载模型保存位置

新建环境变量 OLLAMA_MODELS ，设置其值为 Ollama 下载模型保存位置。

启动过程

打开 cmd 窗口，启动 ollama 服务器实例，如下所示：

1

ollama serve

再打开一个cmd窗口，执行 ollama 客户端命令，如下所示：

1

ollama list

参考链接

1. 手把手教你离线安装Ollama,by 张云飞.
2. Ollama GPU 加速配置：CUDA、ROCm 与 Metal 全平台实战指南,by easton.
3. 当使用 ollama 本地部署 Error: could not connect to ollama app, is it running?,by 系着秋天的落叶.

开发一个C/S架构的软件，准备使用gRPC技术。

gRPC 简介

gRPC (gRPC Remote Procedure Calls) 是一个跨平台的开源高性能远程过程调用（RPC）框架。

gRPC最初由Google创建，它使用一个通用的RPC基础设施Stubby来连接其数据中心内外运行的大量微服务，始于2001年。2015年3月，Google决定构建下一个版本的Stubby并将其开源，于是就有了gRPC。现在除了Google之外，许多组织都在使用它来支持从微服务到计算的“最后一英里”（移动、Web和物联网）的用例。

gRPC基于HTTP/2协议传输数据，使用Protocol Buffers作为接口描述语言，并提供认证（authentication）、双向流（bidirectional streaming）和流量控制、阻塞或非阻塞绑定以及取消和超时（Deadlines）等功能。它为许多语言生成跨平台的客户端和服务器绑定。最常见的使用场景包括在微服务风格的架构中连接服务，或将移动设备客户端连接到后端服务。

使用方法

默认情况下，gRPC 使用 Protocol Buffers，这是 Google 成熟的开源机制，用于序列化结构化 数据（尽管它也可以与其他数据格式如 JSON 一起使用）。

使用 Protocol Buffers 的第一步是在 proto 文件中定义您要序列化的数据结构：这是一个带有 .proto 扩展名的普通文本文件。Protocol buffer 数据被结构化为 消息 (messages)，其中每条消息都是一条逻辑信息记录，包含一系列称为 字段 (fields) 的名称-值对。以下是一个简单的示例：

1
2
3
4
5

message Person {
  string name = 1;
  int32 id = 2;
  bool has_ponycopter = 3;
}

然后，一旦指定了数据结构，您就可以使用 Protocol Buffer 编译器 protoc 从您的 proto 定义中生成您所选语言的数据访问类。这些类为每个字段提供了简单的访问器，例如 name() 和 set_name()，以及将整个结构序列化/解析为原始字节的方法。

您可以在普通 proto 文件中定义 gRPC 服务，并将 RPC 方法参数和返回类型指定为 Protocol Buffer 消息:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

// The greeter service definition.
service Greeter {
  // Sends a greeting
  rpc SayHello (HelloRequest) returns (HelloReply) {}
}

// The request message containing the user's name.
message HelloRequest {
  string name = 1;
}

// The response message containing the greetings
message HelloReply {
  string message = 1;
}

参考链接

1. gRPC 简介,by gprc.
2. GRPC,by wiki.

读书使人进步。

数据结构

位掩码 (Bitmask)

将多个布尔标志打包到一个整数中，通过位运算实现常数时间的集合操作。

最小堆 / 优先队列 (Min Heap)

存储在数组中的二叉树，最小元素始终在根节点，支持 O(1) 查看和 O(log n) 插入/删除。

环形缓冲区 (Ring Buffer)

固定大小的缓冲区通过模运算实现循环，提供常数时间的入队出队且无需内存分配。

Trie 前缀树 (Trie / Prefix Tree)

在树中存储字符串，每条边代表一个字符——共享前缀共享节点，实现按键长度 O(k) 查找。

跳表 (Skip List)

概率有序数据结构，O(log n) 搜索、插入和删除——比平衡树更简单，性能相当。

布隆过滤器 (Bloom Filter)

以 O(k) 时间测试集合成员资格，零漏判——代价是可调的误判率。

LRU 缓存 (LRU Cache)

缓存满时淘汰最近最少使用的条目——用哈希表加双向链表实现 O(1) 的 get 和 put。

B+ 树 (B+ Tree)

自平衡多路树，高扇出——内部节点负责路由，叶节点存储数据，所有叶节点通过链表相连以支持高效范围扫描。

标签联合体 (Tagged Union / Variant)

将类型标签与值联合体配对存储，使一个变量安全地持有不同类型，通过标签分发行为。

Merkle 树 (Merkle Tree)

对叶子节点做哈希，然后逐层向上哈希配对——以 O(log n) 的代价验证任意叶子的完整性，无需重新哈希整个数据集。

合并迭代器 (Merge Iterator / K-Way Merge)

使用最小堆将 K 个有序流合并为一个有序输出——跨多个数据源创建”统一视图”的通用方法。

并发

信号量 / 有界并发 (Semaphore)

通过维护计数器限制并发操作数量——工作前获取，完成后释放，达到上限时阻塞。

Actor 模型

每个 Actor 拥有一个信箱并按顺序处理消息——没有共享状态，没有锁，仅通过消息传递实现安全并发。

工作窃取 (Work Stealing)

空闲线程从繁忙线程的队列中窃取任务——无需中央协调即可动态均衡负载。

MVCC 多版本并发控制

为每个值保留多个带时间戳的版本，读者永远不阻塞写者——每个事务看到一致的快照，无需加锁。

协作调度 (Cooperative Scheduling)

将长时间运行的任务拆分为小块，在每块之间让出控制权，以保持系统响应。

双缓冲 (Double Buffering)

维护两份状态副本，在它们之间原子切换，让读取方始终看到一致的快照。

背压 / 流控 (Backpressure)

当消费者跟不上时减慢生产者——用有界缓冲区和需求信号防止资源耗尽。

事件循环 / 反应器 (Event Loop / Reactor)

单线程循环通过 epoll/kqueue 多路复用 I/O，将就绪事件分发给回调——无需线程即可处理数千连接。

逻辑时钟 / Epoch (Logical Clock)

单调递增的计数器，无需物理时钟即可排序事件——实现一致性快照和过期检测。

系统

熔断器 (Circuit Breaker)

通过跟踪错误次数自动跳闸——快速失败，而不是堆积超时等待。

限流器 / 令牌桶 (Rate Limiter)

通过维护一个按固定速率补充的令牌桶来控制吞吐量——每次操作消耗一个令牌，桶空时拒绝请求。

指数退避重试 (Retry with Backoff)

操作失败时以指数增长的延迟重试，加随机抖动避免惊群效应。

预写日志 (Write-Ahead Log)

在应用变更前先将每个变更记录到持久存储——重放日志即可从崩溃中恢复，零数据丢失。

批处理 (Batch Processing)

累积单个操作并作为一组执行，将每次操作的开销分摊到整个批次。

一致性哈希 (Consistent Hashing)

将键分布到虚拟环上的节点，添加或移除节点时只重映射约 1/n 的键。

依赖图 (Dependency Graph)

将依赖关系建模为有向无环图，拓扑排序确定合法执行顺序——在死锁前检测循环。

中间件 / 管道链 (Middleware / Pipeline Chain)

组合处理器，每个包裹下一个——前处理、调用 next、后处理——形成双向管道。

注册表 / 自注册 (Registry)

组件按名称将自身注册到全局查找表——消费者在运行时发现实现，无需硬编码依赖。

脏标记 (Dirty Flag)

在变更时将对象标记为”脏”，延迟昂贵的重计算直到值真正被需要时再执行，然后清除标记。

LSM 树 (Log-Structured Merge Tree)

将写入缓冲在内存中，刷写到磁盘的有序文件，后台合并文件——用读放大换取快速写入。

检查点 (Checkpointing)

定期快照一致性状态，使恢复只需从检查点开始重放——而不是从时间的起点。

内存

对象池 (Object Pool)

预分配一组可复用对象，避免热路径上重复分配和垃圾回收的开销。

对象池 (Object Pool)

共享相同的不可变对象而非创建重复实例，用查找开销换取大量内存节省。

Arena 分配器 (Arena Allocator)

在预分配区域中通过移动指针分配对象——不再需要时一次性释放所有内存。

空闲链表 (Free List)

维护一个已释放槽位的链表，使分配和释放都是 O(1)——复用内存而无需调用系统分配器。

写时复制 (Copy-on-Write)

通过引用共享数据，直到有人修改时才创建私有副本——为读多写少的场景节省内存和分配开销。

引用计数 (Reference Counting)

通过原子计数器追踪所有者，归零时自动清理——无需垃圾回收的确定性资源生命周期管理。

墓碑 / 延迟删除 (Tombstone)

用墓碑标记代替直接删除条目——后台进程稍后回收空间。

驻留 / 符号表 (Interning / Symbol Table)

通过规范化查找表去重不可变值——用 O(1) 的指针比较替代 O(n) 的内容比较。

行为型

状态机 (State Machine)

将实体的生命周期建模为一组状态和显式转换，让不可能的状态不可表达，每次状态变更可审计。

观察者 / 发布-订阅 (Observer / Pub-Sub)

让对象订阅事件并在事件发生时收到通知，实现生产者与消费者的解耦——发送方不需要知道谁在监听。

迭代器 / 惰性求值 (Iterator)

逐个处理序列中的元素而不实例化整个集合，通过可组合的转换实现零中间分配。

差异/补丁 (Diff / Patch)

比较两个序列，计算将一个转换为另一个所需的最小操作集（插入、删除、移动）。

虚函数表 / 操作分发 (Vtable / Ops Dispatch)

将函数指针组合到结构体中实现运行时多态——接口、trait 和虚方法背后的手动基础。

访问者 / 树遍历器 (Visitor / Tree Walker)

将树遍历与操作解耦，通过分发到类型特定的回调——使新操作无需修改树结构。

参考链接

1. Battle-Tested Patterns,by totoro-jam.

Pytest 是一个功能强大且易于使用的 Python 测试框架，广泛用于单元测试和调试代码。它支持简单的断言语法、丰富的插件生态系统以及灵活的测试用例管理，非常适合调试和提高代码质量。

安装与环境配置

1
2
3
4
5

# 使用 pip 安装
pip install pytest

# 验证安装
pytest --version

编写测试用例

Pytest 遵循约定优于配置的原则，测试文件和函数需遵循以下命名规则：

• 测试文件以 test_ 开头或 _test 结尾，例如 test_example.py。

• 测试函数以 test_ 开头，例如 def test_add():。

• 测试类以 Test 开头，且不包含 init 方法。

示例代码：

1
2
3
4
5
6
7
8

# 被测试函数
def add(a, b):
   return a + b
# 测试用例
def test_add_positive_numbers():
   assert add(2, 3) == 5
def test_add_negative_numbers():
   assert add(-1, -1) == -2

执行测试与调试

运行测试时，可以通过命令行指定文件、目录或关键字：

1
2
3
4
5
6

# 运行当前目录下的所有测试
pytest
# 运行指定文件的测试
pytest test_example.py
# 运行包含特定关键字的测试
pytest -k "add"

断言与错误报告

Pytest 支持直接使用 Python 的 assert 语句，并在断言失败时提供详细的上下文信息。例如：

1
2

def test_example():
    assert 2 + 2 == 5 # 输出详细的断言失败信息

参考链接

1. 十分钟带你看懂——Python测试框架之pytest最全讲,by 程序员月下.

使用字节跳动的Trae Solo CN编写了一个两个参与者的博弈类小游戏，该游戏使用 nodejs 加 expressjs 加 socket.io 实现。开发完毕后，将该应用部署到互联网，记录一下部署过程。

申请云主机

选择阿里云免费申请一个云主机，使用ubuntu 22.04操作系统，默认安装docker服务。

上传应用

远程登录阿里云主机，上传nodejs应用。

部署应用

因为需要在Docker中运行 npm install 构建 nodejs 应用部署环境，因此无法直接使用默认的 nodejs 镜像，需要自定义 nodejs 镜像。

创建一个高效的 Dockerfile

在项目的根目录下，创建一个名为Dockerfile的文件，并写入以下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 选择一个基础镜像，比如 Node.js 20
FROM node:20-alpine

# 在容器中创建并设置工作目录
WORKDIR /usr/src/app

# 先复制依赖管理文件（这是为了利用 Docker 的缓存，避免每次代码变动都重新安装依赖）
COPY package*.json ./

# 安装项目依赖
RUN npm install
# 如果是生产环境，推荐使用 npm ci 以获得更快、更可靠的安装
# RUN npm ci --only=production

# 复制所有应用源代码到工作目录
COPY . .

# 应用运行的端口
EXPOSE 8080

# 指定容器启动时运行的命令
CMD ["node", "server.js"]

构建与运行

• 构建镜像

在包含上述Dockerfile的目录下，运行以下命令来构建镜像：

1
2
3
4
5

# 构建镜像
docker build -t my-node-app .

# 查看镜像
docker image ls

• 运行容器

构建成功后，使用docker run命令启动容器，并将宿主机的端口映射到容器内的端口：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# 后台运行docker镜像
docker run -d -p 80:8080 -d my-node-app

# 交互式运行docker镜像
docker run -it -p 80:8080 -d my-node-app

# 查看容器
docker container ls

# 查看docker进程
docker ps

# 访问nodejs应用
curl http://localhost:80

# 删除容器
docker container rm container_id

# 删除镜像
docker image rm image_id

远程访问

在阿里云主机的管理界面上，设置防火墙，允许外部主机访问云主机的web服务端口。

打开浏览器，输入网址访问 http://ip ，其中ip为云主机的公网ip 。

参考链接

1. Docker使用帮助,by huangwang.

闲时读读书，记一下笔记，充实自己。于是选了一本博弈论的书《妙趣横生博弈论》读了起来。

第一章 十个策略故事

• 囚徒困境
• 零和博弈
• 随机策略

第二章 逆推可解的博弈

策略博弈

• 序贯发生
• 同时发生

博弈工具

• 博弈树，适用多个参与者
• 决策树，适用一个参与者

囚徒困境及其克服

• 以牙还牙

美丽的均衡

• 纳什均衡

参考链接

1. 妙趣横生博弈论,by douban.

目前使用大语言模型进行高效编程十分火爆，于是研究一下使用大语言模型进行高效编程的工作流，希望不要落后太多。

AI 编程工具

目前市面上的工具主要有三种形态：

一是“IDE插件”，如GitHub Copilot，在你熟悉的编辑器里提供AI辅助；

二是“AI原生IDE”，如Cursor、Trae，它们是专为AI协作而重构的开发环境；

三是“终端智能体”，如Claude Code、Codex、DeepSeek-TUI，适合在命令行环境下工作；

AI 编程流程

参考链接

1. Claude Code vs Codex：谁才是最强 AI 编程工具？我的真实体验分享,by 程序员小崔日记.
2. TRAE IDE vs TRAE SOLO独立端：核心区别、产品逻辑与未来走向全解析,by 阿曼.

最近一段事件，基于 LLM 的 Agent 非常火爆，比如 OpenClaw 龙虾。那么什么是 AI Agent，基于 LLM 的 Agent 带来了哪些突破呢？值得探究一下。

什么是 AI Agent

在生成式人工智能的背景下，AI 代理（也称为复合 AI 系统或自主 AI）是一类能够在复杂环境中自主运行的智能代理。自主 AI 工具优先考虑决策而非内容创建，并且不需要持续监督。

AI 代理具有几个关键属性，包括复杂的目标结构、自然语言接口、能够在无需用户监督的情况下独立行动的能力，以及集成软件工具或规划系统。它们的控制流程通常由大型语言模型（LLMs）驱动。代理还包括用于记忆先前用户-代理交互的记忆系统和用于组织代理组件的编排软件。

AI 代理的一个常见应用是任务的自动化，例如根据用户的提示请求预订旅行计划。

AI Agent 构成

AI Agent = LLM（推理） + Tools（工具） + Planning（规划） + Memory（记忆）

其执行流程如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

用户输入
   ↓
[感知 Perception] ← 记忆
   ↓
[规划 Planning]  → 分解任务
   ↓
[决策 Decision]  → 选择行动
   ↓
[执行 Action]    → 调用工具
   ↓
[观察 Observation] → 获取结果
   ↓
(循环直到完成)
   ↓
返回最终答案

AI Agent 分类

AI Agent 关键技术

• 大语言模型 （LLM）
• 工具调用（Function Calling）
• 工具库设计
• 记忆机制
  • 短期记忆（对话历史）
  • 长期记忆（向量数据库）
  • 结构化记忆（实体记忆）

AI Agent 生态位

1
2
3
4
5
6
7
8
9

┌─────────────────────────────────────┐
│           外部工具 / 数据源          │  文件系统、数据库、GitHub、Slack…
├─────────────────────────────────────┤
│   MCP 服务器 / Skills（能力封装层）   │  标准化协议连接 & 模块化能力包
├─────────────────────────────────────┤
│          Agent（执行循环层）         │  感知 → 推理 → 工具调用 → 观察
├─────────────────────────────────────┤
│          LLM（推理核心层）           │  Claude、GPT-4o、DeepSeek、Gemini…
└─────────────────────────────────────┘

参考链接

1. LLM Agent开发指南,by meiluosi.
2. 万字长文解读LLM Agent：总体框架、经典论文与实践, 魔法学院的Chilia.
3. AI agent,by wikipedia.
4. 为什么调用 OpenAI Tools 后，还要再请求一次大模型？——从代码看 LLM 工具调用的本质,by 烟袅破辰.
5. 使用 OpenAI SDK 调用 Tools 实现外部工具集成,by 烟袅破辰.
6. 大模型工具调用完整指南：从原理到实践,by 鱼XueTr​.
7. MCP、Skills、Agent、LLM：四层架构全解，一文理清核心概念,by 七牛云行业应用.
8. 别搞混了！Agent Skill 和 MCP 到底有什么区别？,by AI大模型入门.
9. 一文彻底搞懂 OpenClaw 的架构设计与运行原理（万字图文）,by AI架构师汤师爷.

读《厨房实验室》有感：日常生活中，科学无处不在。

第一章 甜言蜜语

碳水化合物，含糖的天然化学物质。

• 单糖：葡萄糖、果糖
• 双糖：蔗糖、麦芽糖、乳糖
• 多糖：纤维素、淀粉

第二章 地中之盐

第三章 肥沃之地

食物的3种主要成分是蛋白质、碳水化合物和脂肪。

脂肪每克含9卡路里热量，而蛋白质和碳水化合物每克含4卡路里热量。

脂肪分子由两部分组成，即甘油部分和脂肪酸部分。

脂肪酸可分为饱和脂肪、多不饱和脂肪和单不饱和脂肪。

第四章 厨房里的化学物质

小苏打（又名碳酸氢钠）是一种单一的化学物质，在厨房中是胀发，产生数以百万计的二氧化碳小气泡，从而使烘焙产品胀发。

第五章 海陆双鲜

第六章 火与冰

1千焦的热量可以让10克水升高25摄氏度。

从每克脂肪中获得的能量是38焦耳，而从每克蛋白质或者碳水化合物中获得的能量为16.7千焦左右。

第七章 杯中之物

根据茶叶的加工方式，真正的茶分为三种类型：未经发酵的绿茶、半发酵的乌龙茶和经过酶类发酵而导致其中鞣酸类化合物氧化的红茶。

第八章 神秘的微波

第九章 工具和技术

参考链接

1. 厨房实验室,by douban.

作者对AI的思考很深刻，有见地，浅显易懂，值得一读。

AI 是超级模式匹配器

AI 幻觉（AI Hallucination）

AI 生成的内容，是基于训练数据中的统计模式”拼接”而成的。当这些统计模式碰巧和事实一致时，输出是”正确的”。当统计模式偏离了事实，输出就是”幻觉”。

一套判断工具

三问判断法

三问判断法判断AI是否能够解决你的问题：

• 第一问：这个任务能转化为模式匹配吗？
• 第二问：训练数据够不够？
• 第三问：你能验证 AI 的输出吗？

和AI协作的原则

• 原则一：让 AI 做它擅长的事
• 原则二：验证 > 信任
• 原则三：迭代，而非一次到位
• 原则四：用 AI 放大你的优势，而非替代你的思考

参考链接

1. AI是怎么回事,by wmyskxz.