Transformers工具使用帮助

发表于 | 更新于 | 评论数： | 阅读次数：

Transformers是为 PyTorch 打造的先进的机器学习工具。Transformers 充当跨文本、计算机视觉、音频、视频与多模态的最先进机器学习模型的「模型定义框架」，同时覆盖推理与训练。

它将模型的定义集中化，使整个生态系统对该定义达成一致。transformers 是跨框架的枢纽：一旦某模型定义被支持，它通常就能兼容多数训练框架（如 Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch‑Lightning 等）、推理引擎（如 vLLM、SGLang、TGI 等），以及依赖 transformers 模型定义的相关库（如 llama.cpp、mlx 等）。

基础

pip 下载的包太大，需要清除，可使用如下命令查看：

1
2
3
4
5
6
7
8
# 查看 pip 下载包缓存位置
pip cache dir

# 清理所有缓存
pip cache purge

# 查看 pip 安装包位置
pip show package_name

安装

Transformers 支持 Python 3.9+，以及 PyTorch 2.1+。

创建虚拟环境

使用 venv 或 uv（一个基于 Rust 的快速 Python 包与项目管理器）创建并激活虚拟环境：

1
2
3
# venv
python -m venv .my-env
source .my-env/bin/activate

安装 Transformers

在虚拟环境中安装 Transformers：

1
2
3
4
5
6
7
8
9
10
# pip安装 pytorch gpu 版本
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1  --index-url https://download.pytorch.org/whl/cu121
pip install transformers

# pip安装默认 pytorch cpu 版本
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cpu
pip install transformers

# 方括号 [] 的作用是指定额外的可选依赖包。
pip install "transformers[torch]"

检查PyTorch GPU 版本安装是否成功

1
2
3
4
import torch
print(torch.__version__)  # 应该显示 2.4.1+cu121
print(torch.cuda.is_available())  # 应该为 True（GPU版本）
print(torch.version.cuda)  # 应该显示 12.1

快速上手

官方示例

使用 Pipeline API 一步上手。Pipeline 是一个高级推理类，支持文本、音频、视觉与多模态任务，负责输入预处理并返回适配的输出。

实例化一个用于文本生成的 pipeline，指定使用的模型。模型会被下载并缓存，方便复用。最后传入文本作为提示：

1
2
3
4
from transformers import pipeline

pipeline = pipeline(task="text-generation", model="Qwen/Qwen2.5-1.5B")
pipeline("the secret to baking a really good cake is ")

transformers自动下载模型的保存位置：C:\Users\jack.cache\huggingface\hub\，在模型下载以后，可以保存到其他位置。

下载模型

由于某些原因，国内的服务器可能无法直接访问huggingface.co。可以通过配置使用其镜像站。例如:hf-mirror.com。

hf-mirror.com是用于镜像 huggingface.co 域名。作为一个公益项目，致力于帮助国内AI开发者快速、稳定的下载模型、数据集。

下面介绍从 hf-mirror.com 下载大模型的方法：

  • 激活 python 虚拟环境
1
Script\activate
  • 设置环境变量
1
2
set HF_ENDPOINT=https://hf-mirror.com
echo %HF_ENDPOINT%
  • 下载大模型
1
2
3
4
5
# 下载大模型默认保存位置：C:\Users\jack\.cache\huggingface\hub\
hf download Qwen/Qwen2.5-0.5B

# 自定义大模型保存位置
hf download Qwen/Qwen2.5-0.5B --local-dir ./LLM/Qwen/Qwen2.5-0.5B
  • 下载数据集
1
2
# 自定义数据集保存位置
hf download --repo-type dataset --local-dir DataSet/glue glue

参考链接

  1. Transformers简介,by huggingface.
  2. Transformers,by huggingface.
  3. transformers无法连接huggingface，无法从huggingface下载模型,by Alley cat.
  4. 大模型文件从huggingface下载失败的解决办法,by AI8ge8888888.
  5. transformers用pipeline下载的模型路径,by 小怪兽会微笑.
  6. HF Transformers Pipelines,by MKY-门可意.
  7. PyTorch中GPU可用性验证与模型训练加速实践,by comate.
  8. 使用huggingface-cli下载模型,by 青蛙小白.
  9. 最简单的一文安装Pytorch+CUDA,by crownyouyou.
  10. 安装PyTorch 2.4.1+cu121（本机电脑cuda支持12.7）,by 程序改变世界&.
  11. hf-mirror,by hf-mirror.
  12. 从模型到前端，你应该知道的LLM生态系统指南,by deephub.
  13. 7个用于运行LLM的最佳开源WebUI,by Python编程杰哥.