首页 > 其他分享 >ChatGPT垂直行业私有数据知识库功能-咨询接口采用流式响应输出-JS和Golang实现流式响应

ChatGPT垂直行业私有数据知识库功能-咨询接口采用流式响应输出-JS和Golang实现流式响应

时间:2023-04-10 13:22:41浏览次数:55  
标签:输出 xhr 知识库 流式 JS Golang 响应

近期开发私有数据知识库功能,想要实现和ChatGPT聊天效果类似的逐字流式输出展示效果。

GPT3.5本身就有流式聊天补全接口,后端Golang对接后,也需要能流式输出。下面就介绍下前端JS后端Golang来实现这种输出效果

 

大部分介绍是使用EventStream来实现,我现在不使用EventStream也来实现同样的效果

在服务器端需要关闭输出缓冲,使得每次写入的数据能够立即发送给客户端。可以通过调用http.ResponseWriter对象的Flush方法实现。

在客户端需要使用XHR对象或WebSocket对象实现长连接,从而能够接收来自服务器的多次响应。

 

    router := gin.Default()
    router.GET("/", func(c *gin.Context) {
        c.Header("Content-Type", "text/html;charset=utf-8")
        // 关闭输出缓冲,使得每次写入的数据能够立即发送给客户端
        f, ok := c.Writer.(http.Flusher)
        if !ok {
            c.AbortWithStatus(http.StatusInternalServerError)
            return
        }
        // 向客户端输出数据
        html := []rune(`Go-Knowledge AI,自建私有数据知识库 · 与知识库AI聊天`)
        for _, str := range html {
            fmt.Fprintf(c.Writer, string(str))
            f.Flush()
            time.Sleep(100 * time.Millisecond)
        }
    })

这样我们直接访问 / ,就可以看到文字是逐字流式输出响应的

前端JS需要使用下面这种读取方式

var xhr = new XMLHttpRequest();
xhr.open("GET", "/");
xhr.setRequestHeader("Content-Type", "text/plain");

xhr.onprogress = function(event) {
    console.log(event.currentTarget.responseText);
};

xhr.send();

 

标签:输出,xhr,知识库,流式,JS,Golang,响应
From: https://www.cnblogs.com/taoshihan/p/17302615.html

相关文章

  • Golang基础-- select的用法
    select是golang在语言层面提供的多路IO复用的机制,其可以检测多个channel是否ready三个题目示例来说明一下select的大概作用:题目一:声明两个channel,分别为chan1和chan2,依次启动两个协程,分别向两个channel中写入一个数据就进入睡眠。select语句两个case分别检测chan1和chan2是......
  • 近万字总结:Java8 Stream流式处理指南
    总结/朱季谦在实际项目当中,若能熟练使用Java8的Stream流特性进行开发,就比较容易写出简洁优雅的代码。目前市面上很多开源框架,如Mybatis-Plus、kafkaStreams以及Flink流处理等,都有一个相似的地方,即用到Stream流特性,其写出的代码简洁而易懂,当然,若是在不熟悉流特性的基础上而贸......
  • golang 中的 goto 用法和使用场景(转)
    转自:golang中的goto场景一:跳出多重循环packagemainimport"fmt"funcmain(){forx:=0;x<10;x++{fory:=0;y<10;y++{ify==2{//跳转到标签gotobreakHere}......
  • golang 编译碰到问题 Package python-2.7 was not found in the pkg-config search pa
    golang运行单测或者编译程序时提示需要配置PKG_CONFIG_PATH环境变量,原因是在程序里使用了go-python包,要求运行环境有python2.7,并设置PKG_CONFIG_PATH环境变量,解决方案如下:#pkg-config--cflags--python-2.7Packagepython-2.7wasnotfoundinthepkg-configsear......
  • Golang与Java全方位对比总结
    本文针对Golang与Java的基础语法、结构体函数、异常处理、并发编程及垃圾回收、资源消耗等各方面的差异进行对比总结,有不准确、不到位的地方还请大家不吝赐教。一、基础语法Golang:编码风格及可见域规则严格且简单;Java:来说层次接口清晰、规范,主要表现有以下这些。1、变量......
  • Golang基础--defer的用法
    defer语句用于延迟函数的调用,每次defer都会把一个函数压入栈中,函数返回前再把延迟的函数取出执行。三个示例:import"fmt"funcmain(){varinit=1deferfmt.Println(init)init=2}输出1。延迟函数fmt.Println(aInt)的参数在defer语句出现时就已经确......
  • Golang回调函数
    Golang回调函数实例二则定义回调函数就是一个通过函数指针调用的函数。如果你把函数的指针(地址)作为参数传递给另一个函数,当这个指针被用来调用其所指向的函数时,我们就说这是回调函数。回调函数不是由该函数的实现方直接调用,而是在特定的事件或条件发生时由另外的一方调用的,用于......
  • SAP ABAP Gateway 系统里 HTTP 请求响应头部字段 DataServiceVersion 的可能取值范围
    SAPABAPGateway系统里HTTP请求的响应头部字段集合里,DataServiceVersion这个字段的作用是什么,包含哪些可能的值?如下图第178行代码所示。在SAPABAPGateway系统中,DataServiceVersion是HTTP响应头部字段集合中的一个字段,用于指定OData服务的版本信息。具体来说,Da......
  • .net core 自定义规范响应的中间件
    在本文中,我们将介绍如何使用.NETCore中的中间件来自定义规范响应,以便在API调用时返回统一的格式和错误信息。中间件是一种可以在请求和响应管道中执行逻辑的软件组件,它可以对请求或响应进行修改、拦截或处理。我们将使用一个简单的示例来演示如何创建和使用自定义规范响应的......
  • Golang反射获取变量类型和值
    Golang反射获取变量类型和值 1.什么是反射反射是程序在运行期间获取变量的类型和值、或者执行变量的方法的能力。Golang反射包中有两对非常重要的函数和类型,两个函数分别是:reflect.TypeOf能获取类型信息reflect.Type;reflect.ValueOf 能获取数据的运行时表示reflect.Val......