引言
论文：Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
许久不精读论文了，内心一直想找个专门的时间来细细拼读自己感兴趣的论文。现在想来，无异于是自己骗自己了–根本就不存在那个专门的时间。所以改变最好的时候就是现在。
因为自己一直在做OCR相关，因为对LLM中文档智能相关的工作比较感兴趣。因此，就以旷视出的这篇工作Vary作为切入点，借此来学习LLM在文档智能领域的相关工作。
整体结构图
Figure 1：主要想说明Vary在产生vocabulary时，采用两阶段策略：在第一阶段，通过自回归方法，先产生一个新的vocabulary，在第二阶段，将新的vocabulary与原始的融合，作为一个新的vocabulary。
Figure 2: 第一阶段中，Vary为Vary-tiny，主要用来产生新的vocabulary；而Vary-base主要基于new vision vocabulary来处理各种visual tasks。
Vary-tiny中，使用在VitDet上预训练过的SAM作为image encoder，之后为了和之后CLIP-L对齐，又加了两个Conv。
Vary这篇工作整体思路较为简单，更多地方就要去看源码的细节实现了。
🤮 不过想要吐槽一下的是，论文中竟然和Nougat作比较。Vary和Nougat参数量来看简直不是一个量级啊。转过来想，也是，毕竟这个方向目前也没有一个除Nougat之外的基线了。
数据集构造
之所以将这部分作为一个单独章节来说，是因为这个工作的难点就在于此。Nougat和Vary都没有开源所用的数据集。Nougat好在给出了一些制作数据集的相关代码。Vary目前一点也没有放出来。所以这里也就根据论文来简单看看怎么做的了。
Vary-tiny部分
该部分主要聚焦于fine-grained perception，例如文档智能和图表理解，说是为了弥补CLIP的不足，因此这部分网络输入都是图像，没有文本输入的分支。
在训练Vary-tiny部分，作者将文档和图表数据作为positive samples，自然场景图像作为negative数据。
Document Data数据构造
由于该部分需要的数据为：输入是文档图像，输出是对应的markdown格式文本。目前没有公开的中英文文档数据集，因为作者自行构建的。
其中，英文文档主要来源于arXiv和CC-MAIN-2021-31-PDFUNTRUNCATED两部分。中文文档主要来源于互联网上的电子书。
处理方法：PyMuPDF库提取PDF每页信息，同时用pdf2image工具将PDF对应页转为图像。（感觉这里处理的较为粗糙，有较大提升空间）
最终构建了100w中文和100w英文文档图像对数据集用于训练Vary-tiny部分。
Chart Data构造
作者观察到LVLM不太擅长处理图表理解问题，尤其是中文图表。因此，本篇工作着重将其作为一个重点任务。
构建图表的image-text pair对方案：采用matplotlib和pyecharts作为渲染工具。渲染了matplotlib风格的中英文图表250k条，渲染了pyeharts风格中英文图表500k条。另外，构建图表的ground truth为一个python字典形式。其中图表中的文本，例如title, x-axis和y-axis都是从NLP语料库中随机选的。
Negative natural image选取
因为CLIP-VIT对于自然图像较为擅长。为了确保新引入的vocabulary不影响已有效果，因此，作者在训练Vary-Tiny时，引入了自然图像作为negative image-text pairs。
作者从COCO数据集中选取了120k图像，其所对应的文本从以下几条中随机选取：
“It’s an image of nature”;
“Here’s a nature picture”;
“It’s a nature photo”;
“This is a natural image”;
“That’s a shot from nature”.
Vary-base部分
TODO
