大模型量化技术-GPTQ
2022年，Frantar等人发表了论文 GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers。
这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transformer模型，同时只有微小的性能下降。
GPTQ算法需要通过对量化模型进行推理来校准模型的量化权重。详细的量化算法在原始论文中有描述。
基于auto-gptq 开源实现库，transformers 支持使用GPTQ算法量化的模型。
GPTQ：Accurate
![[<span style='color:red;'>大</span><span style='color:red;'>模型</span>]<span style='color:red;'>大</span>语言<span style='color:red;'>模型</span><span style='color:red;'>量化</span>方法对比：<span style='color:red;'>GPTQ</span>、GGUF、AWQ](https://img-blog.csdnimg.cn/direct/8eca778e9ca24d0ab78412ae00555bbd.png)
![[Python学习篇] Python创建项目](https://img-blog.csdnimg.cn/direct/433d62495b194a9cba8268707bd2e811.png)