Transformers是为 PyTorch 打造的先进的机器学习工具。Transformers 充当跨文本、计算机视觉、音频、视频与多模态的最先进机器学习模型的「模型定义框架」,同时覆盖推理与训练。
它将模型的定义集中化,使整个生态系统对该定义达成一致。transformers 是跨框架的枢纽:一旦某模型定义被支持,它通常就能兼容多数训练框架(如 Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch‑Lightning 等)、推理引擎(如 vLLM、SGLang、TGI 等),以及依赖 transformers 模型定义的相关库(如 llama.cpp、mlx 等)。
基础
pip 下载的包太大,需要清除,可使用如下命令查看:
1 | # 查看 pip 下载包缓存位置 |
安装
Transformers 支持 Python 3.9+,以及 PyTorch 2.1+。
创建虚拟环境
使用 venv 或 uv(一个基于 Rust 的快速 Python 包与项目管理器)创建并激活虚拟环境:
1 | # venv |
安装 Transformers
在虚拟环境中安装 Transformers:
1 | # pip安装 pytorch gpu 版本 |
检查PyTorch GPU 版本安装是否成功
1 | import torch |
快速上手
官方示例
使用 Pipeline API 一步上手。Pipeline 是一个高级推理类,支持文本、音频、视觉与多模态任务,负责输入预处理并返回适配的输出。
实例化一个用于文本生成的 pipeline,指定使用的模型。模型会被下载并缓存,方便复用。最后传入文本作为提示:
1 | from transformers import pipeline |
transformers自动下载模型的保存位置:C:\Users\jack.cache\huggingface\hub\,在模型下载以后,可以保存到其他位置。
下载模型
由于某些原因,国内的服务器可能无法直接访问huggingface.co。可以通过配置使用其镜像站。例如:hf-mirror.com。
hf-mirror.com是用于镜像 huggingface.co 域名。作为一个公益项目,致力于帮助国内AI开发者快速、稳定的下载模型、数据集。
下面介绍从 hf-mirror.com 下载大模型的方法:
- 激活 python 虚拟环境
1 | Script\activate |
- 设置环境变量
1 | set HF_ENDPOINT=https://hf-mirror.com |
- 下载大模型
1 | # 下载大模型默认保存位置:C:\Users\jack\.cache\huggingface\hub\ |
- 下载数据集
1 | # 自定义数据集保存位置 |
参考链接
- Transformers简介,by huggingface.
- Transformers,by huggingface.
- transformers无法连接huggingface,无法从huggingface下载模型,by Alley cat.
- 大模型文件从huggingface下载失败的解决办法,by AI8ge8888888.
- transformers用pipeline下载的模型路径,by 小怪兽会微笑.
- HF Transformers Pipelines,by MKY-门可意.
- PyTorch中GPU可用性验证与模型训练加速实践,by comate.
- 使用huggingface-cli下载模型,by 青蛙小白.
- 最简单的一文安装Pytorch+CUDA,by crownyouyou.
- 安装PyTorch 2.4.1+cu121(本机电脑cuda支持12.7),by 程序改变世界&.
- hf-mirror,by hf-mirror.
- 从模型到前端,你应该知道的LLM生态系统指南,by deephub.
- 7个用于运行LLM的最佳开源WebUI,by Python编程杰哥.