首页 > 其他分享 >fastapi请求豆包流式传输接口

fastapi请求豆包流式传输接口

时间:2024-10-12 14:23:22浏览次数:8  
标签:prompt stream fastapi app 流式 豆包 import data

# main.py  
from fastapi import FastAPI, BackgroundTasks, HTTPException, Body
from fastapi.responses import StreamingResponse
import asyncio
import json
from volcenginesdkarkruntime import Ark
from starlette.middleware.cors import CORSMiddleware

app = FastAPI()

app.add_middleware(
    CORSMiddleware,
    allow_origins=["*"],  # 允许所有来源的请求,也可以指定特定的 URL
    allow_credentials=True,  # 是否允许发送凭证(如 cookies 和 HTTP 认证)
    allow_methods=["*"],  # 允许所有 HTTP 方法
    allow_headers=["*"],  # 允许所有头部信息
)

@app.post("/stream-data/")
async def stream_data(prompt: str = Body(..., embed=True)):
    # 这里我们假设要根据prompt生成流式数据  
    # 在实际场景中,你可能需要处理更复杂的逻辑  
    print('-------------', prompt)

    async def chat_dance(prompt):
        client = Ark(api_key='xxxxxxx661956')

        stream = client.chat.completions.create(
            model="ep-xxxxxxxx-c4xff",
            messages=[
                {"role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手"},
                {"role": "user", "content": prompt},
            ],
            stream=True
        )

        for chunk in stream:
            if not chunk.choices:
                continue
            data = chunk.choices[0].delta.content
            yield json.dumps(data, ensure_ascii=False)

    return StreamingResponse(chat_dance(prompt))

# 运行应用的命令(在终端或命令行中执行)  
# uvicorn main:app --reload

 

标签:prompt,stream,fastapi,app,流式,豆包,import,data
From: https://www.cnblogs.com/air/p/18460456

相关文章

  • 【Flink】基于 Flink 的流式数据实时去重
    【Flink】基于Flink的流式数据实时去重-腾讯云开发者社区-腾讯云https://cloud.tencent.com/developer/article/1707045我们不能将状态仅交由内存管理,因为内存的容量是有限制的,当状态数据稍微大一些时,就会出现内存不够的问题。由于Flink本身提供了有状态的计算,并且封装了一......
  • Flutter布局(3):流式布局(Wrap、Flow)
    一、简介在Flutter中,流式布局是一种常用的布局方式,用于实现动态调整子组件位置和尺寸的需求。Flutter提供了两个流式布局的组件:Wrap和Flow。其实,Flow用的实在不多呀。二、Wrap组件Wrap组件是一种流式布局,它会自动调整和换行子组件,以适应可用空间。属性Wrap组件具有......
  • 没有方向盘和踏板,特斯拉发布无人驾驶出租车;字节豆包推出 AI 智能体耳机 Ola Friend丨
       开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(Real-TimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编......
  • 深入探索Spring AI:源码分析流式回答
    在上一章节中,我们深入分析了SpringAI的阻塞式请求与响应机制,并探讨了如何增强其记忆能力。今天,我们将重点讲解流式响应的概念与实现。毕竟,AI的流式回答功能与其交互体验密切相关,是提升用户满意度的重要组成部分。基本用法基本用法非常简单,只需增加一个stream方法即可实现所需......
  • 第二十一章 实战青龙流式系统问题总结
    我们在实际的开发过程会遇到很多的问题,这里总结和归纳,可以帮助各位流式协议带来的限制媒体流属性的随机化处理RTC协议要求接收方在接收到媒体流后复写mediatrack上的id,label,contentHint等属性以保证流属性不会泄漏发送者的媒体设备信息,并使流在P2P网络中唯一.这......
  • 豆包MarsCode国庆献礼,轻松开发开发一款电子贺卡制作工具
    大家好,我是晓凡。作为一名搬了很多年砖的码农,深知求职和编程路上的各种辛酸与艰辛。你是否也曾在面试前夜,疯狂刷题却完全记不住,收效甚微?是否也曾在深夜凌晨一个人对着电脑屏幕,苦苦思索一个bug的解决方案?是否看着前人留下的屎山代码而无从下手,最后也只能留下只要屎山不倒,就继续......
  • 基于WebRTC的流式系统揭秘
    序言最近几年远程办公开始涌现之际,越来越多的应用在云端进行支持,从性能表现和画质表现来看,基于WebRTC开源框架的流式系统开始主流,用户数,开发人员,产品数量大幅上升。本文基于这种业界现状,向大家阐述各个方面的技术细节和内容,希望能给到大家一些产品研发过程中的心得和技术要点......
  • 转载 fastapi 部署 原文链接:https://blog.csdn.net/FrenzyTechAI/article/details/132
    sudoadd-apt-repositoryppa:deadsnakes/ppasudoaptupdatesudoaptinstallpython3.12python3.12-venv-ysudoaptinstallsupervisorsudoaptinstallsupervisornginx-y启用并启动Supervisor:sudosystemctlenablesupervisorsudosystemctlstartsupervisor使用ena......
  • 青训营 X 豆包MarsCode
    如果有人对前端/后端/AI技术以及字节感兴趣并想系统学习来自大厂课程的话,可以试试青训营!青训营是字节跳动稀土掘金社区发起的技术系列培训&人才选拔项目,旨在培养优秀且具有职业竞争力的开发工程师。课程全程免费,不收取任何费用!考核方式:通过发布的刷题任务即可获得入营资格技术......
  • 豆包通用模型Pro:字节跳动的AI革新,引领多模态交互新纪元
    在人工智能技术的快速发展浪潮中,字节跳动凭借其最新的豆包通用模型Pro,再次站在了技术创新的前沿。豆包通用模型Pro不仅在技术上取得了显著的突破,更在实际应用中展现了其强大的多模态交互能力,为内容创作和用户交互提供了全新的解决方案。技术突破:豆包通用模型Pro的核心优势豆包通用......