为什么需要Web Search API?
各类AI Native应用、RAG应用、AI Agent智能体在开发过程都会遇到联网获取互联网网页信息的需求,此时需要得到原始网页链接以及文本摘要,以用于给pipeline中的大模型作为上下文总结使用。
但目前仅国外的搜索引擎例如Bing、Google提供此类Web Search API,存在数据不安全(数据出海)、价格奇高(美元结算)、内容不安全(无符合国内要求的内容过滤)等问题,因此需要寻求和使用国内的相似服务,目前国内只有博查AI搜索提供Web Search API,搜索结果质量高(更适合AI大模型使用)且安全合规、价格实惠。
接下来试验一下博查 Web Search API的调用方式和使用效果。
产品入口网址
博查AI开放平台:https://open.bochaai.com
API开发文档:https://aq6ky2b8nql.feishu.cn/wiki/HmtOw1z6vik14Fkdu5uc9VaInBb
接口介绍
可以看到提供Web Search API、AI Search API、Agent Search API接口,分别提供近百亿网页内容搜索、大厂生态内容搜索、专业领域内容搜索,我们本篇只使用Web Search API即可。
获取API-KEY
前往 https://open.bochaai.com,微信扫码登陆后,在首页点击右上角的 “AP KEY管理”,创建API KEY,复制出来即可。
接口参数
在Web Search API接口文档https://aq6ky2b8nql.feishu.cn/wiki/RXEOw02rFiwzGSkd9mUcqoeAnNK中可以看到支持设置搜索的时间范围(一天内、一周内、一个月内、一年内、不限)和是否显示长文本摘要(Summary)。
请求参数
EndPoint:https://api.bochaai.com/v1/web-search
请求方式:POST
请求头(Header):
请求体(JSON方式):
注意:这里是 JSON 请求方式,而不是 Params 方式。具体示例可以看下方的示例代码。
响应格式
响应格式兼容Bing Search API,如果之前使用的是Bing,可以非常简单的切换,响应内容有网页、图片和视频。
示例代码
curl
curl --location 'https://api.bochaai.com/v1/web-search' \
--header 'Authorization: Bearer YOUR-API-KEY' \
--header 'Content-Type: application/json' \
--data '{
"query": "什么是Multi Agent架构",
"freshness": "oneYear",
"summary": true,
"count": 8
}'
python
import requests
import json
url = "https://api.bochaai.com/v1/web-search"
payload = json.dumps({
"query": "什么是Multi Agent架构",
"freshness": "oneYear",
"summary": True,
"count": 8
})
headers = {
'Authorization': 'Bearer YOUR-API-KEY',
'Content-Type': 'application/json',
}
response = requests.request("POST", url, headers=headers, data=payload)
print(response.json())
效果测试
分别测试一些搜索词,看看效果。比如一天内、一周内、一个月内、一年内以及历史内容怎么样。注意调整查询的时间范围,只要更改freshness参数值即可。
一天内:东部战区联合利剑-2024B演习
一周内:什么是同球共济
一年内:阿里巴巴2024年的ESG报告
测试结论
整体试了下,响应速度、搜索结果质量都相当不错,符合作者AI Agent应用场景的需求。
内容丰富性
- 搜索结果质量高:结果准确性和文本摘要质量都可以,适合AI应用使用
- 内容源丰富:与国内一线搜索引擎不相上下,当然他们都不提供这种API的
- 内容合规:服务器部署在国内,数据是按国内要求做过合规处理的
- 生态内容:AI Search API和 Agent Search API还提供更多内容的搜索,本期作者还没来得及测试,大家可以自行试试。
- 新闻类:头条新闻
- 视频类:抖音(竖版视频)、西瓜(横版视频)
- 生活类:机票、火车票、景点、酒店、餐厅
- 知识类:百科、文库、学术
- 商业类:企业搜索
技术亮点
- Multi-Agent 架构:多Agent协作完成搜索,专业领域的搜索词由相应智能体完成
- 向量索引+语义搜索:向量化索引,能识别搜索意图与召回结果的语义相关性。
- 语义排序:bocha-semantic-reranker:一种新的语义排序算法,在关键字和向量化混合搜索并得到BM25-ranked结果和RRF-ranked结果之后,抽取top-N利用语义信息对候选结果进行再次排序,并按和query语义相关性进行输出,显著提升搜索结果相关性。
价格
价格仅为Bing Web Search的三分之一。
标签:Web,Search,AI,Agent,API,搜索 From: https://blog.csdn.net/cxk19980802/article/details/142914215