如何直接向模型传递多模态数据

在人工智能模型的应用中，多模态数据的处理变得越来越重要。多模态数据指的是同时包含多种输入格式的数据，例如文本和图像。本文将深入探讨如何直接将多模态输入传递给模型，特别是如何利用特定的API接口来实现这一功能。我们将具体演示如何让模型描述图像，帮助您在实际开发中更好地应用这一技术。

技术背景介绍

多模态模型能够处理和理解多种类型的数据输入，如文本、图像、音频等。这类模型在许多应用场景中极具潜力，例如自动描述图片内容、从视频中提取信息，甚至是结合文字和图像进行复杂分析。

核心原理解析

对多模态数据的处理，关键在于如何将不同类型的数据整合到模型可以理解的格式中。大多数支持多模态输入的模型会接受一种标准化的数据格式，例如将图片数据编码成字符串。在这篇文章中，我们使用OpenAI的Chat模型（如GPT-4o），展示如何将图像数据作为输入，并得到模型对图像内容的描述。

代码实现演示

以下是如何使用langchain_openai库来实现这一功能的代码示例。我们将URL中的图像转换为字节字符串，并通过API传递给模型：

import base64
import httpx
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

# 使用OpenAI的Chat模型
model = ChatOpenAI(model="gpt-4o")

# 图像URL
image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

# 获取图像数据并编码为base64
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")

# 创建消息内容包含文本和图像
message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {
            "type": "image_url",
            "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
        },
    ],
)

# 调用模型并打印结果
response = model.invoke([message])
print(response.content)

直接传递图像URL

有些模型支持直接在内容块中传递图像URL，而不是编码数据：

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)
response = model.invoke([message])
print(response.content)

多图像输入

同样，我们可以在输入中添加多张图片：

message = HumanMessage(
    content=[
        {"type": "text", "text": "are these two images the same?"},
        {"type": "image_url", "image_url": {"url": image_url}},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)
response = model.invoke([message])
print(response.content)

工具调用

一些多模态模型还支持工具调用功能，可以结合工具进行复杂的任务：

from typing import Literal
from langchain_core.tools import tool

@tool
def weather_tool(weather: Literal["sunny", "cloudy", "rainy"]) -> None:
    """Describe the weather"""
    pass

model_with_tools = model.bind_tools([weather_tool])

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)
response = model_with_tools.invoke([message])
print(response.tool_calls)

应用场景分析

这种方法适用于需要结合文本和图像信息的场景，例如自动图像描述、图像分类、结合文本说明进行复杂任务决策等。特别是在电子商务、新闻媒体、社交平台等需要快速处理多模态信息的领域，这项技术可以大幅提升效率。

实践建议

1. 选择合适的模型和API：根据数据类型和业务需求选择支持多模态输入的模型。
2. 注意数据格式：确保输入数据的格式符合模型要求，尤其是图像的编码方式。
3. 结合工具功能：充分利用工具调用功能，增强模型的应用能力。

如果遇到问题欢迎在评论区交流。

—END—