Re73 读论文：ULMFiT Universal Language Model Fine-tuning for Text Classification

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：Universal Language Model Fine-tuning for Text Classification
模型简称：ULMFiT
模型全名：Universal Language Model Fine-tuning

ArXiv网址：https://arxiv.org/abs/1801.06146
（论文中提供的代码已经过时了）

本文是2018年ACL论文，反正整体思路也是预训练-微调，先预训练，然后在目标数据集上微调语言模型，然后接分类头微调下游任务。模型基底是AWD-LSTM模型（3层LSTM）。
（当年语言模型还是纯纯的语言模型，不是Transformers）
论文整体思路已经讲烂了。主要比较值得在意的内容是微调阶段的几个trick：discriminative fine-tuning (Discr), slanted triangular learning rates (STLR)（“1cycle” Policy）, and gradual unfreezing

1. 背景

预训练-微调模式常用于CV领域，本文将其应用于NLP中的文本分类任务。

本文研究的是inductive迁移学习。
transductive和inductive的区别我主要在GNN那几篇博文里写了，在此不再赘述。
NLP transductive迁移学习（(2007 ACL) Biographies, Bollywood, Boom-boxes and Blenders: Domain Adaptation for Sentiment Classification）似乎指的是那种传统的迁移学习方法 SCL (Structural Correspondence Learning)，找两个领域的公共特征（Pivot feature）。
inductive迁移学习的前作是word2vec和合并其他任务输出的embeddings到当前模型中（¹和ELMo），但是主模型还是需要从0开始训练，只固定预训练embeddings。

(2015) Semi-supervised Sequence Learning：微调，但需要大量数据

微调：
(2015 SemEval) UNITN: Training Deep Convolutional Neural Network for Twitter Sentiment Classification
(2015) Improving neural machine translation models with monolingual data
(2017 ACL) Question Answering through Transfer Learning from Large Fine-grained Supervision Data

LM直接加分类头在小数据集上微调会导致灾难性遗忘。

2. ULMFiT

（不知道为什么看这个图我给联想到了verifier……但是性质不一样，我就不延伸了）

原任务：语言模型
优势：能捕捉多样知识，数据充分

微调：
语言模型（discriminative fine-tuning (‘Discr’) and slanted triangular learning rates (STLR)）→ 分类器（gradual unfreezing, ‘Discr’, and STLR）

2.1 AWD-LSTM

原论文：(2017) Regularizing and Optimizing LSTM Language Models

LSTM + 多样化微调的dropout

2.2 Discr

Discriminative fine-tuning

主旨：不同层用不同的学习率

SGD更新参数：

Discr更新参数：

经验之选：${\eta }^{l-1}={\eta }^l/2.6$

2.3 STLR

slanted triangular learning rates

从低学习率开始线性增长，最后下降回初值。这种方法使模型能够探索更广泛的学习率范围，从而摆脱次优局部极小值，最终获得更好的解决方案。

2.4 下游任务微调

2个线性模块：batch normalization，dropout，ReLU

Concat pooling：

Gradual unfreezing：从最后一层开始解冻，一个epoch解冻一层

BPTT for Text Classification (BPT3C)：
backpropagation through time (BPTT)

Bidirectional language model

3. 实验

详细实验设置略。

3.1 数据集

3.2 对比实验

评估指标：error rates

3.3 模型分析

在不同训练集规模下，是否使用预训练-微调范式产生的模型效果差异，以及是否利用无标签数据做语言模型训练（半监督学习）的效果差异：

预训练的效果：

基语言模型的效果：

预训练阶段的trick：
（full是直接全量微调）

（freez是gradual unfreezing，cos是aggressive cosine annealing schedule，last常用于CV²）

LM的双向性也带来了效果提升

4. 复现代码

4.1 fastai包

参考官方教程：https://docs.fast.ai/tutorial.text.html

我写了个colab文件，可以直接运行（第2个一级标题那里开始是ULMFiT的代码，先在IMDB数据集上预训练语言模型，然后在IMDB数据集上微调分类器）：https://colab.research.google.com/drive/1hXYiutt_tTKIB-rP_MvdOjVSa2tk2h6y?usp=sharing

参考资料

1. Let’s learn about Universal Language Model Fine-tuning, ULMFiT | by Ashley Ha | Medium：这篇文章里面的代码已经老到和最新版的fastai包不兼容了，但是理论还是可供参考的，简单介绍了一下预训练-微调范式是怎么一回事
2. 迁移学习_迁移学习简明手册(王晋东)_阅读笔记7-8_structural corresponding learning-CSDN博客