提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
一、情感分类是什么?
情感分类通常是指在自然语言处理(NLP)领域中的一个任务,其目标是识别和分类文本中的情感或情绪。具体来说,情感分类的问题通常包括以下几个方面:
- 情感识别:确定文本中表达的情感是正面、负面还是中性的。这可以帮助理解文本作者的态度或情感倾向。
- 多类情感分类:将文本分类为多种情感类别,例如喜悦、悲伤、愤怒、惊讶等。这种分类可以更详细地了解文本中不同情感的表达。
- 情感强度分析:不仅确定情感类别,还可以分析情感的强度或程度。例如,一个评论可能包含负面情绪,但强度可能不同。
情感分类在实际中有许多应用,包括社交媒体分析、消费者评论分析、情感驱动的广告定位等。通过自然语言处理技术,可以帮助计算机理解和处理人类语言中的情感信息,这对于很多应用都是非常有价值的。
二、具体代码
导入数据
%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!pip install mindnlp==0.3.1`
!pip install mindnlp
!pip install jieba
%env HF_ENDPOINT=https://hf-mirror.com
import os
import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn
from mindnlp.dataset import load_dataset
from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy
加载imdb数据集。
imdb_ds = load_dataset('imdb', split=['train', 'test'])
imdb_train = imdb_ds['train']
imdb_test = imdb_ds['test']
测试数据集是否下载成功。
imdb_train.get_dataset_size()
输出为:
25000
接下来处理数据集。
import numpy as np
def process_dataset(dataset, tokenizer, max_seq_len=512, batch_size=4, shuffle=False):
is_ascend = mindspore.get_context('device_target') == 'Ascend'
# 定义一个内部函数,用于对文本进行分词和编码
def tokenize(text):
if is_ascend:
# 如果是 Ascend 设备,使用 padding='max_length' 进行填充
tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
else:
# 否则,仅进行截断处理
tokenized = tokenizer(text, truncation=True, max_length=max_seq_len)
# 返回分词后的结果,包括输入的编码和注意力掩码
return tokenized['input_ids'], tokenized['attention_mask']
# 如果需要打乱数据集,则进行打乱操作
if shuffle:
dataset = dataset.shuffle(batch_size)
# 使用 map 操作对数据集中的每个样本进行分词和编码
dataset = dataset.map(operations=[tokenize], input_columns="text", output_columns=['input_ids', 'attention_mask'])
# 对标签列进行类型转换,转换为整数类型
dataset = dataset.map(operations=transforms.TypeCast(mindspore.int32), input_columns="label", output_columns="labels")
# 如果是 Ascend 设备,使用 batch 方法进行批处理
if is_ascend:
dataset = dataset.batch(batch_size)
else:
# 否则,在 CPU/GPU 上使用 padded_batch 方法进行填充批处理
dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
'attention_mask': (None, 0)})
# 返回处理后的数据集
return dataset
from mindnlp.transformers import GPTTokenizer
# tokenizer
gpt_tokenizer = GPTTokenizer.from_pretrained('openai-gpt')
# add sepcial token: <PAD>
special_tokens_dict = {
"bos_token": "<bos>",
"eos_token": "<eos>",
"pad_token": "<pad>",
}
num_added_toks = gpt_tokenizer.add_special_tokens(special_tokens_dict)
结果为:
按比例划分数据集。
# split train dataset into train and valid datasets
imdb_train, imdb_val = imdb_train.split([0.7, 0.3])
dataset_train = process_dataset(imdb_train, gpt_tokenizer, shuffle=True)
dataset_val = process_dataset(imdb_val, gpt_tokenizer)
dataset_test = process_dataset(imdb_test, gpt_tokenizer)
next(dataset_train.create_tuple_iterator())
输出为:
模型训练
from mindnlp.transformers import GPTForSequenceClassification # 导入 MindNLP 中的 GPT 序列分类模型
from mindspore.experimental.optim import Adam # 导入 MindSpore 中的 Adam 优化器
# 设置并加载预训练的 GPT 模型用于序列分类任务
model = GPTForSequenceClassification.from_pretrained('openai-gpt', num_labels=2)
model.config.pad_token_id = gpt_tokenizer.pad_token_id # 设置填充标记的 ID
model.resize_token_embeddings(model.config.vocab_size + 3) # 调整 token embeddings 大小,包括额外的特殊标记
# 初始化 Adam 优化器,使用模型的可训练参数和指定的学习率
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
# 设置用于评估模型性能的指标(这里假设使用准确率作为指标)
metric = Accuracy()
# 定义保存检查点的回调函数
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune', epochs=1, keep_checkpoint_max=2)
# 定义保存最佳模型的回调函数,自动加载最佳模型以继续训练或评估
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune_best', auto_load=True)
# 设置 Trainer 对象,管理训练过程
trainer = Trainer(network=model, # 指定训练的网络模型
train_dataset=dataset_train, # 训练数据集
eval_dataset=dataset_train, # 评估数据集(这里用训练集进行简单示例)
metrics=metric, # 指定评估指标
epochs=1, # 训练轮数为 1 轮
optimizer=optimizer, # 指定优化器
callbacks=[ckpoint_cb, best_model_cb], # 添加回调函数列表
jit=False) # 关闭即时编译以避免潜在的编译问题
trainer.run(tgt_columns="labels")
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")
最后的结果为:
总结
今天学习了如何通过GPT实现情感分类的相关知识。GPT模型(Generative Pre-trained Transformer模型)是一种基于Transformer架构的深度学习模型,由OpenAI开发。它在自然语言处理(NLP)领域取得了显著的成就。GPT模型利用了大规模无监督的预训练来学习语言表示,然后可以通过微调适应特定的监督式任务。总之,通过学习如何利用GPT进行情感分类,我不仅初步了解了一种强大的模型,还深入了解了如何应用该模型解决实际的问题。