文章目录
前言
尽管推理我已给出相应说明，但为命令行方式完成推理。然并未给出其详细理论内容。基于此，本节是给出lora推理相关源码解读，帮助读者能明白llava的lora等推理方法的理解。本文主要介绍lora推理主函数源码解读、modelworker类源码解读与load_pretrained_model源码解读。
一、lora推理主函数源码解读
我们在服务器上命令启用服务后，我们将使用vscode方法加载模型，如此便可debug推理源码，而lora推理模型位于model_worker.py文件中，其代码如下：
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument("--host"
![[大<span style='color:red;'>模型</span>]<span style='color:red;'>LLaMA</span>3-8B-Instruct <span style='color:red;'>Lora</span> 微调](https://img-blog.csdnimg.cn/direct/1620bcdf480942acb22a90f9350e16fb.png#pic_center)
![文件包含漏洞: 函数，实例[pikachu_file_inclusion_local]](https://i-blog.csdnimg.cn/direct/c2e05d09ab1749438c40ba5a44c0b66f.png)
