开源翻译大模型

开源翻译大模型

1 简介

在开发过程中，会遇到定制化翻译工具的需要，开源的翻译模型可以解决相应的问题。其中英语转中文的比较好的开源项目有：

2 下载模型

下载模型的网站

# 国内代理huggingface的网站
https://hf-mirror.com/

# 下载大模型的网站
https://aliendao.cn

下载命令

# 安装huggingface_hub，会在相应的环境中生成huggingface-cli
pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple

# 进入到相应的目录下后，下载模型
huggingface-cli download --resume-download facebook/mbart-large-50-one-to-many-mmt --local-dir mbart-large-50-one-to-many-mmt  --local-dir-use-symlinks False

3 项目实例

3.1 模型nllb-200-3.3

源代码

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained("D:/model/nllb-200-3.3B")
tokenizer = AutoTokenizer.from_pretrained("D:/model/nllb-200-3.3B")

# pipelines使用方法： https://hf-mirror.com/docs/transformers/main_classes/pipelines
# 翻译语言的地址：https://hf-mirror.com/facebook/nllb-200-3.3B/blob/main/README.md
# task：任务类型，translation表示翻译
# src_lang： 输入文本的语言，eng_Latn表示英文
# tgt_lang： 输出文本的语言，zho_Hans表示中文
# max_length： 输入文本最大长度；
translator = pipeline(
    task='translation',
    model=model,
    tokenizer=tokenizer,
    src_lang='eng_Latn',
    tgt_lang='zho_Hans',
    max_length=512
)

# 文本
text_en = "Heart disease is a serious threat to human health. "
text_zh = translator(text_en)
print(text_zh)

3.2 模型mbart-large-50-one-to-many-mmt

安装依赖

# 安装sentencepiece 
pip install sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装protobuf
pip install protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple

源代码

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast

# 加载模型
model = MBartForConditionalGeneration.from_pretrained(
    pretrained_model_name_or_path="D:/model/mbart-large-50-one-to-many-mmt"
)
tokenizer = MBart50TokenizerFast.from_pretrained(
    pretrained_model_name_or_path="D:/model/mbart-large-50-one-to-many-mmt",
    src_lang="en_XX"
)

# 序列化
text_en = "Heart disease is a serious threat to human health. "
model_inputs = tokenizer(text_en, return_tensors="pt")

# 将英语翻译成中文
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["zh_CN"]
)

text_zh = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(text_zh)

结果

3.3 模型opus-mt-en-zh

源代码

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import pipeline

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained("D:/model/opus-mt-en-zh")
tokenizer = AutoTokenizer.from_pretrained("D:/model/opus-mt-en-zh")

# 创建 pipeline
translator = pipeline(task="translation", model=model, tokenizer=tokenizer)

text_en = "Heart disease is a serious threat to human health. "
text_zh = translator(text_en)
print(text_zh)

结果

3.4 模型SeamlessM4T

由于SeamlessM4T模型太大，此处借助HuggingFace上的模型运行。