首页 > 其他分享 >使用博查Web Search API获取搜索引擎的网页链接和文本摘要,给AI/RAG应用增加联网搜索功能,可平替Bing Search API、Google Search API,国内稳定可用。

使用博查Web Search API获取搜索引擎的网页链接和文本摘要,给AI/RAG应用增加联网搜索功能,可平替Bing Search API、Google Search API,国内稳定可用。

时间:2024-10-16 12:52:27浏览次数:13  
标签:Web Search AI Agent API 搜索

为什么需要Web Search API?

各类AI Native应用、RAG应用、AI Agent智能体在开发过程都会遇到联网获取互联网网页信息的需求,此时需要得到原始网页链接以及文本摘要,以用于给pipeline中的大模型作为上下文总结使用。

但目前仅国外的搜索引擎例如Bing、Google提供此类Web Search API,存在数据不安全(数据出海)、价格奇高(美元结算)、内容不安全(无符合国内要求的内容过滤)等问题,因此需要寻求和使用国内的相似服务,目前国内只有博查AI搜索提供Web Search API,搜索结果质量高(更适合AI大模型使用)且安全合规、价格实惠。

接下来试验一下博查 Web Search API的调用方式和使用效果。

产品入口网址

博查AI开放平台:https://open.bochaai.com
API开发文档:https://aq6ky2b8nql.feishu.cn/wiki/HmtOw1z6vik14Fkdu5uc9VaInBb

接口介绍

可以看到提供Web Search API、AI Search API、Agent Search API接口,分别提供近百亿网页内容搜索、大厂生态内容搜索、专业领域内容搜索,我们本篇只使用Web Search API即可。
在这里插入图片描述

获取API-KEY

前往 https://open.bochaai.com,微信扫码登陆后,在首页点击右上角的 “AP KEY管理”,创建API KEY,复制出来即可。
在这里插入图片描述

接口参数

在Web Search API接口文档https://aq6ky2b8nql.feishu.cn/wiki/RXEOw02rFiwzGSkd9mUcqoeAnNK中可以看到支持设置搜索的时间范围(一天内、一周内、一个月内、一年内、不限)和是否显示长文本摘要(Summary)。

请求参数

EndPoint:https://api.bochaai.com/v1/web-search
请求方式:POST
请求头(Header):
在这里插入图片描述
请求体(JSON方式):
在这里插入图片描述

注意:这里是 JSON 请求方式,而不是 Params 方式。具体示例可以看下方的示例代码。

响应格式

响应格式兼容Bing Search API,如果之前使用的是Bing,可以非常简单的切换,响应内容有网页、图片和视频。

示例代码
curl
curl --location 'https://api.bochaai.com/v1/web-search' \
--header 'Authorization: Bearer YOUR-API-KEY' \
--header 'Content-Type: application/json' \
--data '{
    "query": "什么是Multi Agent架构",
    "freshness": "oneYear",
    "summary": true,
    "count": 8
}'
python
import requests
import json

url = "https://api.bochaai.com/v1/web-search"

payload = json.dumps({
  "query": "什么是Multi Agent架构",
  "freshness": "oneYear",
  "summary": True,
  "count": 8
})
headers = {
  'Authorization': 'Bearer YOUR-API-KEY',
  'Content-Type': 'application/json',
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.json())

效果测试

分别测试一些搜索词,看看效果。比如一天内、一周内、一个月内、一年内以及历史内容怎么样。注意调整查询的时间范围,只要更改freshness参数值即可。

一天内:东部战区联合利剑-2024B演习

在这里插入图片描述

一周内:什么是同球共济

在这里插入图片描述

一年内:阿里巴巴2024年的ESG报告在这里插入图片描述

测试结论

整体试了下,响应速度、搜索结果质量都相当不错,符合作者AI Agent应用场景的需求。

内容丰富性

  1. 搜索结果质量高:结果准确性和文本摘要质量都可以,适合AI应用使用
  2. 内容源丰富:与国内一线搜索引擎不相上下,当然他们都不提供这种API的
  3. 内容合规:服务器部署在国内,数据是按国内要求做过合规处理的
  4. 生态内容:AI Search API和 Agent Search API还提供更多内容的搜索,本期作者还没来得及测试,大家可以自行试试。
  • 新闻类:头条新闻
  • 视频类:抖音(竖版视频)、西瓜(横版视频)
  • 生活类:机票、火车票、景点、酒店、餐厅
  • 知识类:百科、文库、学术
  • 商业类:企业搜索

技术亮点

  1. Multi-Agent 架构:多Agent协作完成搜索,专业领域的搜索词由相应智能体完成
  2. 向量索引+语义搜索:向量化索引,能识别搜索意图与召回结果的语义相关性。
  3. 语义排序:bocha-semantic-reranker:一种新的语义排序算法,在关键字和向量化混合搜索并得到BM25-ranked结果和RRF-ranked结果之后,抽取top-N利用语义信息对候选结果进行再次排序,并按和query语义相关性进行输出,显著提升搜索结果相关性。

价格

价格仅为Bing Web Search的三分之一。

标签:Web,Search,AI,Agent,API,搜索
From: https://blog.csdn.net/cxk19980802/article/details/142914215

相关文章