手把手带你实现大模型检索增强生成RAG（一）——数据清洗准备

首先，需要整理一大堆可以用来检索的文本数据，这些数据可以是网页、论文、报告、电影脚本、电视剧脚本等等。这些数据可以是原始的文本数据，也可以是经过清洗、处理过的文本数据。

作为IT打工仔，我从二道贩子处购入一本软考秘籍。

由于秘籍是pdf的，所以先要从pdf转成txt文件。当然，这个代码直接交给gpt去完成了。

import threading
import queue
import pdfplumber

# 创建一个线程安全的队列用于存储PDF文字
text_queue = queue.Queue()

# 读取PDF文字的线程函数
def read_pdf(file_path):
    with pdfplumber.open(file_path) as pdf:
        for page in pdf.pages:
            text = page.extract_text()
            text_queue.put(text)

# 将文字写入文件的线程函数
def write_to_file(file_path):
    with open(file_path, 'a') as file:
        while True:
            text = text_queue.get()
            if text == 'EOF':  # 表示文件读取结束
                break
            print(text)  # 打印文字到控制台
            file.write(text + '\n')  # 写入文件

# 指定PDF文件路径
file_path = '【带搜索】系统架构设计师第二版.pdf'  # 将 'example.pdf' 替换为您的PDF文件路径

# 创建并启动读取PDF文字的线程
pdf_thread = threading.Thread(target=read_pdf, args=(file_path,))
pdf_thread.start()

# 创建并启动将文字写入文件的线程
write_thread = threading.Thread(target=write_to_file, args=('output.txt',))
write_thread.start()

# 等待两个线程执行完毕
pdf_thread.join()
text_queue.put('EOF')  # 发送信号告知写入文件的线程文件读取结束
write_thread.join()

print("PDF文字已经成功写入文件！")

当然，二道贩子难免会在pdf里夹带私货，所以还需要对提取后的文本进行清洗、处理。

with open("output.txt", 'r') as f:
    text = f.readlines()

gabbage_text = [
     '软考达人：软考专业备考平台，免费提供6w+软考题库，1TB免费专业备考资料\n',
     '兰亭图书阁\n',
     '手机端题库：微信搜索「软考达人」 / PC端题库：www.ruankaodaren.com\n',
    '\n'
]
text = list(filter(lambda x: x not in gabbage_text, text))
with open("output.txt", 'w') as f:
    f.write(''.join(text))

经过以上步骤，我们就得到了一份清洗、处理后的文本数据，可以用来检索。

清洗后的文件已上传csdn，放在评论区，欢迎大家下载。