huggingface使用与环境移植

环境

在线

conda create -n torch110 python=3.7
conda activate torch110
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
pip install transformers==4.30.0

离线

# 原环境打包 待打包环境需提前安装conda-pack（conda install conda-pack）
conda-pack -n <env_name> [-o <zip_name>]

# 解压为新环境 解压到anaconda的env目录下即可
mkdir <env_name>
tar -zxvf <evn_name>.tar.gz -C <env_name>

Bert

# 测试程序
from transformers import BertTokenizer, BertModel

# 离线若提示没有模型“bert-base-uncased”可以尝试将参数替换为“./bert-base-uncased”
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained("bert-base-uncased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
print(output)

在线

直接运行测试程序，将自动下载相关模型（上例中为“bert-base-uncased”）

离线

1. 将仓库下载到本地

   # 在git中执行一次即可
   git lfs install
   
   # GIT_LFS_SKIP_SMUDGE=1表示不下载大文件（大文件一般为参数文件，分别对应不同深度学习框架，一般只需要手动下载pytorch版本即可）
   GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:bert-base-uncased
   

2. 运行测试程序