Ubuntu下使用Transformers推理框架进行LLM的推理
前期准备: Nvidia驱动已经安装完成 (nvidia-smi) CUDA已经安装完成 (nvcc --version) --------------------------------- 1、创建并激活虚拟环境: conda create -n transformers python=3.10 -y && conda activate transformers 2、部署transformers推理框架: pip install "transformers[torch]" -i https://pypi.tuna.tsinghua.edu.cn/simple (未翻墙则加上清华源,如果已科学上网则无需加) 使用pip show transformers命令来检查是否安装成功以及版本信息。 3、安装huggingface下载依赖: pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple (未翻墙则加上清华源,如果已科学上网则无需加) 4、设置huggingface镜像站的环境变量: export HF_ENDPOINT=https://hf-mirror.com (如果已科学上网,则无需此步骤) 5、编写app.py代码,如下: from transformers import AutoTokenizer, AutoModelForCausalLM import torch def main(): # 模型名称,可以替换为本地路径,例如 "./Qwen2.5-1.5B" model_name = " Qwen/Qwen3-1.7B " # 加载 tokenizer 和模型 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( ...