在上篇中，我们探讨了构建RAG应用中常面临的两个问题：如何提高语义检索的精度以及实现多轮对话中上下文理解的检索。本文接着探讨另一个常见的也是比较复杂的问题：
- 如何对多模态文档，特别是其中的图片内容进行嵌入、检索与引用？
我们将基于Google最新的Gemini多模态模型作简单实现与测试。
01 需要处理的图片
在构建基于大模型的RAG应用时，通常需要从大量的文档中导入私有知识，需要对其中的内容进行分割、嵌入与索引，从而能够在响应用户输入时检索到需要引用的关联知识。
棘手的是，我们在处理这些文档时，往往面临的是一个混合了多种内容形式的文档，其中对于文本类型的内容处理相对简单，不管是纯文本，还是Markdown或者HTML；而相对复杂的是图片内容，如果没有完善的处理方案，那么就会丢失图片中的有价值信息。
需要强调的是，并不是所有的文档中涉及的图片都需要处理。通常来说，在RAG应用中需要做深度处理的图片指的是：**包含了可能会被检索与参考到的知识信息的图片。**比如：
- 一个包含了产品详细操作说明的示意图
- 一个反映了数据分析结果的可视化图表
- 一个与竞争对手产品对比的表格图片等
一个包含有用信息的图片
**文档中一些仅用于参考的图片或者无关的装饰图则无需进行RAG相关处理（**注意这一类图片只是不需要进行类似嵌入与语义检索的操作，但仍然有可能需要在大模型响应时输出，如包含在输出的Markdonw内容中）。比如：
- 一个已经有了文字说明的操作手册中的界面截图
- 一些不包含有用知识的装饰型图片
一个无需处理的参考图片
02【图片RAG处理方案】
多模态的混合文档处理的总体方案，我们在之前文章中结合了Langchain开发框架做过介绍（点击阅读：GPT4-V之前：企业私有知识库中半结构化与多模态数据的RAG方案思考）。我们在此做简单总结：
图片来自LangChain Cookbook
忽略掉其中对文本内容(Text)的处理，这里展示了三种具有代表性且复杂性有区别的图片(Image)处理方法，我们对这里的三种方法做简单剖析以帮助我们更好的选择与实现：
方法1
- 嵌入：直接嵌入图片，需要借助特殊的图片嵌入模型
- 检索：直接根据用户问题语义检索出原图片即可
- 引用：借助多模态大模型（GPT-4v/Gemini等），输入检索出的图片
方法1的特点是**直接对图片嵌入。**其特殊性在于需要借助多模态的embedding模型（如OpenClip）以及支持多模态的向量库（如Chroma），由于不需要生成图片的摘要信息，因此简化了嵌入的过程；但同时也引入了多模态嵌入与检索过程的复杂性
方法2
- 嵌入：嵌入图片摘要信息(Summary)，需借助多模态模型先生成摘要
- 检索：通过用户问题检索出图片摘要信息文本
- 引用：将检索的摘要信息作为上下文输入大模型获得响应
方法2是一种最简单也是效果相对较差的方法。简单的说就是在嵌入时把图片转成图片的摘要文本，后续的检索与引用都基于该文本处理。由于摘要可能隐藏了图片的大量真实细节信息，可能会导致回答效果较差。一种简单优化的方法是在生成摘要文本的时候，要求尽量细节化（借助多模态大模型）。
方法3
- 嵌入：嵌入图片摘要信息(Summary)，需借助多模态模型先生成摘要
- 检索：通过用户问题关联检索出图片摘要信息与原始图片
- 引用：借助多模态大模型（GPT-4v/Gemini等），输入检索出的原图
**推荐的一种方法。**其嵌入的对象是生成的图片摘要文本信息，因此只需要普通的文本embedding模型即可；但是在检索时会通过元数据关联获取到原始图片，进而引用原始图片，并借助多模态大模型响应用户输入。
03 基于Gemini模型的实现
Google最新推出的Gemini模型支持多模态，且当前的API还处于免费调用阶段，非常适合研究与测试。所以这里我们借助于最新的Google的Gemini Pro模型来简单实现与测试方法3中的过程。为了更好的关注重点，这里忽略了从原始文档比如PDF提取图片的过程（可参考之前的文章），我们假设提取的图片已经存放在本地目录中，其中包含三张测试图片：
基本的处理过程如下：
- 生成图片摘要信息
- 对图片摘要进行嵌入与关联存储
- 输入用户问题检索，并输入大模型获得响应
1. 生成****图片摘要：首先将原始图片转为base64格式，并通过多模态模型生成摘要信息即可。这个处理过程比较简单，只需要利用提示词即可完成。下面是一个生成某个图片摘要的参考代码（仅列出关键过程）
"""
对单一图片生成摘要文本信息，借助google gemini多模态模型
"""
def image_summarize(img_path):
#模型
model = ChatVertexAI(model_name="gemini-pro-vision",
max_output_tokens=1024,project="my-ai-assistant")
#提示
prompt = """你是一位负责为检索任务总结图像的助手。这些总结将被嵌入并用于检索原始图像。给出一个简洁的、针对检索优化的图像总结。"""
#图片转为encode格式
img_base64=encode_image(img_path)
msg = model(
[
HumanMessage(
content=[
{"type": "text", "text": prompt},
{
"type": "image_url",
"image_url":{"url":f"data:image/jpeg;base64,{img_base64}"},
},
]
)
]
)我们来看看生成的摘要效果：
2. 嵌入与向量存储：在生成图片摘要后，需要对生成的图片摘要信息作嵌入，借助于嵌入模型，可以轻松的完成这个任务。但是这里有一个问题：
由于后续我们需要在检索（retrieve）的时候关联获取到原始图片，因此在嵌入并存储到向量库时，要建立一个图片摘要与原始图片之间的映射关系，这可以简单的通过一个doc_id来实现关联。
我们推荐使用Langchain中的多向量检索器(MultiVectorRetriever)，可以很方便建立这种映射关系，并且在检索时自动关联取出原始图片。
多向量检索也是我们在上篇中介绍的RAG应用中提高文本知识语义检索精度的一种重要方案。
下面展示对图片摘要进行嵌入与存储，并关联原始图片的处理过程：
"""
对图片摘要images_summaries作嵌入，并关联原始图片images
传入图片摘要列表与图片列表
"""
def create_images_retriever(image_summaries, images):
#向量存储：用来存放图片摘要的向量（chroma）
vectorstore = Chroma(collection_name="google_test",embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest",project="my-ai-assistant"))
#普通存储：用来存放原始图片（base64）
store = InMemoryStore()
#两者之间通过doc_id关联
id_key = "doc_id"
#创建一个多向量检索器，关联到以上存储
retriever = MultiVectorRetriever(
vectorstore=vectorstore,
docstore=store,
id_key=id_key,
)
#对每个图片创建doc_id
doc_ids = [str(uuid.uuid4()) for _ in images]
#将图片摘要嵌入到vectorstore，注意元数据为doc_id
summary_docs = [Document(page_content=s, metadata={id_key: doc_ids[i]}) for i, s in enumerate(image_summaries)]
retriever.vectorstore.add_documents(summary_docs)
#将原始图片存放到普通内存存储，注意将doc_id与图片关联
retriever.docstore.mset(list(zip(doc_ids,images)))
#后续将用此retriever进行检索
return retriever3. 语义检索并引用： 在完成上述“准备工作”后，接下来就可以接受用户输入。根据用户的输入进行关联图片的检索，然后把图片作为参考的上下文，与用户输入问题一起交给多模态大模型，等待响应即可。
使用上面返回的多向量retriever检索器，则过程会变得非常简单，我们建立一个简单的LangChain中的链，来自动的完成这个过程：语义检索->图片提取->Prompt组装->大模型输出这个过程。处理过程如下（使用gemini-pro-vision多模态大模型）：
# 创建用来回答问题的多模态大模型：gemini-pro-vision
model = ChatVertexAI(temperature=0, model_name="gemini-pro-vision", max_output_tokens=1024,project="my-ai-assistant")
#创建一个langchain的处理链
#此处传入的参数：
#retriever：上文创建的检索器
#split_image_text_type: 这是一个把检索出来的文档区分成普通文本与图片的方法
#img_prompt_func: 这是一个把上面的context,question等组装成prompt的方法
chain = (
{
"context":retriever | RunnableLambda(split_image_text_types),
"question": RunnablePassthrough(),
}
| RunnableLambda(img_prompt_func)
| model
| StrOutputParser()
)
#获得输入
query = input("请输入你的问题：")
#调用获得结果
result=chain.invoke(query)可以看到借助Langchain，可以简洁优雅的完成整个过程（当然，完全可以自主实现）。这里面涉及到两个辅助方法：
一个是split_image_text_types：之所以有这样的过程，是由于在实际处理时，如果把图片摘要与普通文本知识一起做嵌入时，那么检索出来的参考知识就会混合图片(base64)与文本内容，由于两种类型的内容在交给大模型时处理方式不同，因此需要在此区分，并用于后续处理，可借助base64工具库完成。
另外一个是img_prompt_func： 这是将检索出的关联内容（文本内容或者图片内容）、用户问题一起组装成Prompt的方法；一般只要根据你所使用的多模态模型的API规范进行封装即可。比如：
#本方法用来组装prompt消息
#注意输入为上文chain中的第一个参数
#包含了用户问题question与context，context包含了语义检索出的、拆分后的普通文本内容与图片内容
messages = []
#引用的普通文本内容
context_texts = "\n".join(data_dict["context"]["texts"])
#将用户问题与需要引用的普通文本内容作为上下文包装成文本消息
text_message = {"type": "text","text": ("你是一名聪明的AI问答助手，你会根据提供给你的文本、表格、图片（通常为图表或者带有文字的图片），来智能的回答用户问题。如果无法根据提供的信息回答问题，请回答'我暂时无法理解你的问题',不要编造答案。\n"
f"用户问题是: {data_dict['question']}\n\n"
"文本信息如下:\n"
f"{context_texts}"
),
}
messages.append(text_message)
#将需要引用的图片内容包装成图片消息
for image in data_dict["context"]["images"]:
image_message = {"type": "image_url","image_url":{"url": f"data:image/jpeg;base64,{image}"}}
messages.append(image_message)
#OK，现在messages发送给大模型即可！现在，我们来看下测试结果：
Gemini模型很好的回答了我们的问题。对比上文的第一个测试图片，也证实了这个图片被检索了出来，并且传给了大模型做输出参考。
04 结束语
以上简单介绍了针对包含知识内容的图片，如何在RAG应用中进行嵌入、检索与生成。实际应用中，还可以根据需要在以下两个方面做优化：
- 图片的摘要信息生成可以根据用户问题做优化以提交检索精度。比如生成更详细的信息以覆盖更多语义、或者利用大模型生成一些假设性的问题等。
- 注意多模态大模型的选择。实际测试中我们发现目前多模态大模型（比如Gpt-4v/Gemini）在图片文字内容识别、特别是中文识别时仍然存在一定的不完善，从而导致回答错误。
在下篇中我们将探讨如何基于开源框架评估RAG应用的效果。
标签：检索,RAG,常见问题,模型,摘要,探讨,模态,嵌入,图片 From： https://blog.51cto.com/u_16163480/12046917