体验过大语言模型的人(chatgpt,文心一言,通义千问...)都知道,大模型的回答是一边思考一边返回数据的,属于流式响应。要达到这种效果就需要实现前后端的即时通讯。
SSE
SSE(Server-sent Events):WebSocket 的一种轻量代替方案,使用 HTTP 协议,用于实现服务器推送数据给客户端的技术。能持续的使服务端向客户端发送消息,而不用客户端发起请求。严格地说,HTTP 协议是没有办法做服务器推送的,但是当服务器向客户端声明接下来要发送流信息时,客户端就会保持连接打开,SSE 使用的就是这种原理。
好处
1.简单易用:与wss相比,不需要建立双向通信,使得更容易实现和使用
2.实时性:提供了实时的数据传输,可以立即推送最新的数据
3.无需轮询:采用了持久连接,可以持续的发送数据,而无需客户端发起请求
4.浏览器兼容性:现在的浏览器都支持sse
这种技术通常用于实现实时更新、通知和事件驱动的应用程序,例如实时聊天、股票市场更新、新闻通知等。