大语言模型相关理论学习

LLM 是生产力的放大器，我们必须拥抱它。但是我们不能仅仅停留在简单使用上，还需要了解其原理，这样才能知其然，更知其所以然。

思维链 (Cot) 技术

思维链（Chain-of-Thought, CoT）是一种通过引导大型语言模型生成中间推理步骤来提升复杂任务表现的提示方法。其核心思想是在少样本学习（few-shot learning）中，通过展示从输入到输出的完整推理路径，而非仅提供最终答案，从而激活模型的逻辑推理能力。

请参考：

• 大模型思维链（Chain-of-Thought）技术原理

混合专家模型（MoE）技术

混合专家模型（Mixture of Experts, MoEs）是一种通过组合多个基于Transformer架构的子模型（专家）和动态路由机制来处理复杂AI任务的AI思想框架，其在1991年第一次被提出，可以说是跨过了漫长周期的经典技术。

请参考：

• AI-fundamentals Public

模型蒸馏技术

模型蒸馏（Knowledge Distillation）总的来说是一种将大型复杂模型（教师模型，teacher model）的知识迁移到小型高效模型（学生模型，student model）的技术。其核心目标是在保持模型整体性能的同时，显著降低模型的计算复杂度和存储需求，使其更适合在资源受限的环境中部署。

请参考：

• AI-fundamentals Public

DeepSeek技术跟踪

请参考：

• 深入浅出完整解析DeepSeek系列核心基础知识

参考链接

1. 大模型思维链（Chain-of-Thought）技术原理,by 绝密伏击.
2. 深入浅出完整解析DeepSeek系列核心基础知识,by Rocky Ding.
3. AI-fundamentals Public,by ForceInjection.
4. 大模型 LLM 缓存机制：从原理到工程实践,by guangzhengli.