文章目录
前言
尽管推理我已给出相应说明,但为命令行方式完成推理。然并未给出其详细理论内容。基于此,本节是给出lora推理相关源码解读,帮助读者能明白llava的lora等推理方法的理解。本文主要介绍lora推理主函数源码解读、modelworker类源码解读与load_pretrained_model源码解读。
一、lora推理主函数源码解读
我们在服务器上命令启用服务后,我们将使用vscode方法加载模型,如此便可debug推理源码,而lora推理模型位于model_worker.py文件中,其代码如下:
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument("--host"