1 模型部署
在InternStudio平台中选择A100 (1/4)
的配置,镜像选择Cuda11.7-conda
,可以选择已有的开发机langchain
;
1.1 创建工作空间
mkdir /root/pdf_project
1.2 Clone项目
git clone https://gitee.com/tcexeexe/pdf-reading-assistant.git
1.3 创建虚拟项目空间并生成软链接
# 迭代创建虚拟项目空间和model目录
mkdir -p /home/tcexeexe/data/model
ln -s /root/pdf_project/data /home/tcexeexe/data
# 建立分词程序的软链接
ln -sf /root/data/model/sentence-transformer /home/tcexeexe/data/model/sentence-transformer
# 建立分词数据目录
mkdir -p /root/pdf_project/data/pdf-reading-assistant/data_base/vector_db/pdf
1.4 激活conda环境
conda activate InternLM
1.5 安装PyPDF2库
pip install PyPDF2 pypdf tiktoken transformers_stream_generator
1.6 生成PDF知识库
python /root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py
以上脚本会生成数据库文件chroma.sqlite3
,知识库中指定的文件内容就会存到其中,之前使用的PDF文件就不需要了。
1.7 运行网页demo
python /root/pdf_project/data/pdf-reading-assistant/web_demo.py