手把手带你用Python和文心一言搭建《AI看图写诗》网页项目

标签：Python access AI API 文心 Key 百度

今年年初，ChatGPT的火爆在全球掀起AI大模型的开发热潮，国内外的科技公司纷纷加入“百模大战”行列。百度在率先发布了国内第一款人工智能大语言模型“文心一言”后，又推出了文心千帆大模型平台，帮助企业和开发者加速大模型应用落地。

而最近百度创始人、董事长兼首席执行官李彦宏在一场活动上透露了百度世界大会2023的重磅消息，他将在10月17号百度世界大会召开的时候，“手把手教你怎么做AI原生应用”。

我自己也突发奇想用文心一言搭建一个AI小应用：《看图写诗》，说干就干，接下来就跟着博主一起实现这个网页吧！

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API

一、实现思路

1、设计一款网页实现接受上传图片和接收文心一言令牌Token功能

2、Python调用百度智能云的图片识别接口，识别图片类别和内容

3、Python调用文心一言接口，输入图片类别，通过文心一言写诗

4、Python后端将诗返回到网页上

二、《AI看图写诗》网页搭建实现步骤

2.1 网页前端

网页前端采用HTML+CSS+JavaScript技术，实现了上传图片、展示图片，传入百度智能云AppId、百度智能云API Key、百度智能云Secret Key、飞浆星河Access Token和点击写诗功能，界面如下：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API_02

2.2 图像识别

百度智能图像识别接口是百度提供的一项人工智能服务，能够对图片进行高精度的内容识别，该接口支持多种图像识别任务，包括通用物体识别、场景识别、文字识别、动物识别等，这里我们通过Python直接调用免费的通用物体识别图像识别接口，极大的提高了开发工作的效率。

2.2.1 安装百度智能云Python SDK

可以通过pip安装百度智能云Python SDK。在终端下输入以下命令：

pip install baidu-aip

安装完毕后，你就可以在Python代码中导入该包了：

from aip import AipImageClassify

2.2.2 创建应用

1、登录百度智能云的官网：<https://console.bce.baidu.com>

2、依次找到点击产品》人工智能》图像识别

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API_03

3、登录控制台后点击免费尝鲜：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_04

4、勾选全部然后点击0元领取：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_05

5、创建成功后，点击应用进入应用详情页，进入应用管理菜单，点击API Key，可查看API Key和Secret Key，用于Python代码调用API。

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_百度_06

2.2.3 Python代码测试

经过以上两步准备工作，我们便可以开始编写Python代码，实现百度智能图片识别。以下是一个简单的测试示例，需要修改AppId 、API Key、Secret Key和图片路径：

from aip import AipImageClassify

# 定义百度智能云API的参数
APP_ID = '你的API ID'
API_KEY = '你的API Key'
SECRET_KEY = '你的 Secret Key'

# 实例化AipImageClassify
client = AipImageClassify(APP_ID, API_KEY, SECRET_KEY)

# 读取并设置图片路径
filePath = "1.png"

# 打开图片文件
with open(filePath, 'rb') as fp:
   image = fp.read()

# 定义可选参数
options = {"baike_num": 1}

# 调用图片标签识别接口
result = client.advancedGeneral(image, options)

# 输出结果
for res in result['result']:
   print(res['keyword'], end=", ")

我输出图片是这张风景图，没有文字还是很有挑战的：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_百度_07

识别效果，图片上的信息都给识别出来了：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_08

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API_09

接下来我们就需要把识别出来的图像内容传给文心一言写诗了。

2.3 文心一言写诗

这里我是通过ERNIE Bot SDK提供便捷易用的接口，可以调用文心一言的能力，包含文本创作、通用对话、语义向量、Al作图等，并且可以免费调用100万Token：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_10

2.3.1 安装ERNIE Bot SDK

ERNIE Bot SDK是文心&飞桨官方提供的Python软件开发工具包，简称EB SDK，通过下面的pip命令安装：

pip install erniebot

EB SDK认证鉴权主要是设置后端和access token，分别通过api_type和access_token参数来指定，默认使用aistudio后端（api_type为aistudio），将个人中心令牌Token，复制后填入下面代码中即可（替换{YOUR-ACCESS-TOKEN}）：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API_11

2.3.2 获取令牌Token

1、打开飞浆星河社区的官网：<https://aistudio.baidu.com/cooperate/erniebotsdk>

2、注册完账号后，点击查看：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_API_12

3、获取自己的Token令牌并复制，后面我们用Python去调用接口会使用到：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_百度_13

2.3.3 Python代码测试

下面我们来单独测试一下通过ERNIE Bot SDK调用文心一言接口写诗的能力，完整代码如下（只需要替换为自己的Token）：

import erniebot


if __name__ == '__main__':
   # img_str，access_token需要传入
   img_str = '树, 瀑布, 江河, 峡谷, 山峦' # 这里需要图片识别的内容信息
   access_token = "这里替换为自己的TOken"
   content = '根据'+img_str,'写10首两句七言诗'

   erniebot.api_type = 'aistudio'
   erniebot.access_token = access_token
   response = erniebot.ChatCompletion.create(
       model='ernie-bot',
       messages=[{'role': 'user', 'content': f"{content}”"}],
   )
   print(response.result)

运行输出结果还是非常不错的：

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_14

手把手带你用Python和文心一言搭建《AI看图写诗》网页项目_Python_15

接下来就只需要将生成的诗句传递给网页端展示出来就可以啦。

2.4 网页后端

使用到了下面两个Python库，执行pip命令安装一下：

pip install fastapi
pip install pydantic

网页后端实现接收前端传入的图片和令牌，然后调用百度智能云的图片识别接口和文心一言大模型接口，然后将生成的诗句返回给网页前端的功能，后端代码如下：

from fastapi import FastAPI, File, Form, UploadFile
from pydantic import BaseModel
from fastapi.middleware.cors import CORSMiddleware
import erniebot
from aip import AipImageClassify

app = FastAPI()
origins = [
   "http://localhost.tiangolo.com",
   "https://localhost.tiangolo.com",
   "http://localhost",
   "http://localhost:8000",
   "http://localhost:63342",
   # "http://127.0.0.1:8000"
]
app.add_middleware(
   CORSMiddleware,
   allow_origins=origins,
   allow_credentials=True,
   allow_methods=["*"],
   allow_headers=["*"],
)
class PoeSimpleReq(BaseModel):
   access_token: str
   app_id: str
   api_key: str
   classify_secret_key: str
   file: bytes = File(default=None)

@app.post("/poe")
async def read_root(access_token: str = Form(), app_id: str = Form(), api_key: str = Form(),
                   classify_secret_key: str = Form(), image: UploadFile = File()):
   if access_token is None or app_id is None or api_key is None or classify_secret_key is None or classify_secret_key is None or image is None:
       return "Supplementary information on the left"
   access_token = access_token

   APP_ID = app_id
   API_KEY = api_key
   CLASSIFY_SECRET_KEY = classify_secret_key

   client = AipImageClassify(APP_ID, API_KEY, CLASSIFY_SECRET_KEY)
   # 定义可选参数
   options = {"baike_num": 5}
   # 调用图片标签识别接口
   result = client.advancedGeneral(image.file.read(), options)
   print("pic result:", result)
   keyword_list = []

   for res in result['result']:
       keyword_list.append(res['keyword'])
   keyword_string = ', '.join(keyword_list)
   content = '根据' + keyword_string + '写10首两句七言诗'
   erniebot.api_type = 'aistudio'
   erniebot.access_token = access_token
   response = erniebot.ChatCompletion.create(
       model='ernie-bot',
       messages=[{'role': 'user', 'content': f"{content}”"}],
   )

   data_str = response.result
   return data_str.replace("\n", "  ")