如何使用本地部署的千问1.8B模型实现自建知识库检索（RAG）

[crisqqq]

结合langchain ,langchain文档上给出了很有效的方式实现RAG，但是文档示例上采用的是openai的api接口，如果将他换成Tongyi（通义千问）的接口，功能也可以实现，但是如果我想使用在本地部署的模型代替openai或者Tongyi，应该如何操作呢？
代码其中一部分如下所示：

加载文档

file_path = "知识库.txt"
loader = TextLoader(file_path)
documents = loader.load()

拆分文本

text_splitter = CharacterTextSplitter(chunk_size=5000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

创建嵌入模型

embeddings = TensorflowHubEmbeddings()
print(embeddings)

创建向量数据库

vdb = FAISS.from_documents(texts, embeddings)
print(vdb)

创建通义千问模型

#model = Tongyi()【这一块使用Tongyi()就没问题，使用本地部署的就报错，】
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="cpu", trust_remote_code=True).eval()
while True:
query = input("请输入您的问题：")

# 使用向量数据库进行相似度搜索
docs = vdb.similarity_search(query)

context = f"""
    请从以下内容中匹配符合问题语义的答案：
    {docs[0].page_content}
    如果没有找到合适的答案，请说不知道。
"""

# 构建问题模板
template = context + """
    Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)

# 创建处理链
chain = (
    {"question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 调用处理链获取问题的回答
result = chain.invoke({"question": query})【运行到这就报错：promptvalue has no attribute "size"】
print(f"回答：{result}")

[leemoor]

你这个case我跑通了的呀

[harbor1981]

get