🚩🚩🚩Hugging Face 实战系列 总目录
有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Jupyter Notebook中进行
本篇文章配套的代码资源已经上传
文本摘要建模实战1 之 数据清洗
文本摘要建模实战2 之 Tokenizer处理
3 Tokenizer处理
- 注意需要先pip install sentencepiece这个包（装完之后重启下这个notebook）
- 应该是mt5这个没有fast实现方法，所以需要借助这个包
from transformers import AutoTokenizer
model_checkpoint = "google/mt5-small"
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
