首页 > 编程问答 >如何使用 FastAPI 返回 JSON 格式的 csv 文件/Pandas DataFrame?

如何使用 FastAPI 返回 JSON 格式的 csv 文件/Pandas DataFrame?

时间:2024-08-08 04:13:37浏览次数:7  
标签:python pandas dataframe csv fastapi

我有一个 .csv 文件,我想在 FastAPI 应用程序中渲染。我只设法以 JSON 格式呈现 .csv 文件,如下所示:

def transform_question_format(csv_file_name):

    json_file_name = f"{csv_file_name[:-4]}.json"

    # transforms the csv file into json file
    pd.read_csv(csv_file_name ,sep=",").to_json(json_file_name)

    with open(json_file_name, "r") as f:
        json_data = json.load(f)

    return json_data

@app.get("/questions")
def load_questions():

    question_json = transform_question_format(question_csv_filename)

    return question_json

当我尝试直接返回 pd.read_csv(csv_file_name ,sep=",").to_json(json_file_name) 时,它可以工作,因为它返回一个字符串。

我应该如何继续? 我相信这不是一个好方法。


你现在的做法是先将 CSV 文件转换成 JSON 文件,然后再读取这个 JSON 文件并返回。这确实不是一个高效的方法。

更好的做法是直接在内存中处理数据,然后返回 JSON 格式的响应。

以下是使用 FastAPI 返回 JSON 格式的 CSV 文件/Pandas DataFrame 的两种方法:

方法一:使用 pandas.DataFrame.to_json() 方法

from fastapi import FastAPI
import pandas as pd

app = FastAPI()

@app.get("/questions")
def load_questions():
    df = pd.read_csv("questions.csv")
    # 返回 JSON 格式的 DataFrame,使用 'records' 方式序列化
    return df.to_json(orient="records")

这个方法直接读取 CSV 文件到 DataFrame,然后使用 to_json(orient="records") 方法将其转换为 JSON 格式的字符串,并直接返回。 orient="records" 参数确保返回的数据格式是列表,其中每个元素代表 DataFrame 中的一行数据。

方法二:使用 jsonable_encoder 函数

from fastapi import FastAPI
from fastapi.encoders import jsonable_encoder
import pandas as pd

app = FastAPI()

@app.get("/questions")
def load_questions():
    df = pd.read_csv("questions.csv")
    # 将 DataFrame 转换为字典列表
    data = df.to_dict(orient="records")
    # 使用 jsonable_encoder 确保数据可以被 JSON 序列化
    return jsonable_encoder(data)

这个方法先将 DataFrame 转换为字典列表,然后使用 FastAPI 提供的 jsonable_encoder 函数确保数据可以被 JSON 序列化,最后返回 JSON 响应。

两种方法都可以实现将 CSV 文件/Pandas DataFrame 以 JSON 格式返回。方法一更加简洁,而方法二更加灵活,可以处理更复杂的数据结构。

一些建议:

  • 为了提高效率,可以考虑将 CSV 文件的内容缓存到内存中,避免每次请求都读取文件。
  • 可以使用 FastAPI 的依赖注入功能来简化代码结构。
  • 可以使用 Pydantic 模型来定义数据结构,并进行数据校验。

希望这些信息能帮到你!

标签:python,pandas,dataframe,csv,fastapi
From: 71203579

相关文章

  • python joblib.load 发生错误:协议 0 中的持久 ID 必须是 ASCII 字符串 在 GCP 云运行
    总体而言:我尝试使用Cloudbuild和Cloudrun构建BERT模型。我将模型(参数)和元数据(标签)保存在GCPCloudStorage中。但是,我遇到了通过joblib.load()加载metadata.bin文件的错误。我的metadata.bin文件包含UTF-8字符,但joblib.load需要ASCII字符。在......
  • Python + Svelte,如何使用本地文件系统
    总结一下,我有一个用python编写的应用程序。它在输入时需要一堆视频文件。使用一些魔法并生成合并的视频文件输出。我没有找到一个好的GUI解决方案(tkinter,QT,TUI等),所以我选择Svelte框架。但是出现了一个问题,我如何使用本地文件系统。在GUI(svelte)上,我必须上......
  • 如何在Python中绘制伪球面
    目标是使用meshgrid和numpy库生成伪球体的三维图形,但我使用下面的代码生成的图形不完整u=np.linspace(0,np.pi,50)v=np.linspace(0,2*np.pi,100)x,y=np.meshgrid(u,v)X=np.arccos(x)*np.cos(y)Y=np.arccos(x)*np.sin(y)Z=x-np.tan(x)fig=plt.f......
  • 18:Python集合属性
    #Python3集合#集合(set)是一个无序的不重复元素序列。#集合中的元素不会重复,并且可以进行交集、并集、差集等常见的集合操作。#集合中元素必须是不可变类型,也就说里面不能是列表和字典#可以使用大括号{}创建集合,元素之间用逗号,分隔,或者也可以使用set()函数创建集合。s......
  • Python爬虫案例与实战:爬取源代码练习评测结果
    Python爬虫案例与实战:爬取源代码练习评测结果本章案例将介绍用Python编写程序实现简单网站的模拟登录,然后保持登录后的网页会话,并在会话中模拟网页表单提交,之后使用Requests库的高级特性爬取提交之后的返回结果。在HTTP网页中,如登录、提交和上传等操作一般通过向网页发送......
  • Python爬虫案例与实战:爬取豆瓣电影简介
    Python爬虫案例与实战:爬取豆瓣电影简介本章案例将介绍如何爬取豆瓣电影简介,以此帮助读者学习如何通过编写爬虫程序来批量地从互联网中获取信息。本案例中将借助两个第三方库----Requests库和BeautifulSoup库。通过Requests库获取相关的网页信息,通过BeautifulSoup库解析大......
  • 趣味Python游戏编程:第3章 递归函数的威力:扫雷
    趣味Python游戏编程:第3章递归函数的威力:扫雷在第2章中,我们制作了一个拼图游戏,玩家通过鼠标操作图片块移动。本章设计一款扫雷游戏,玩法是在一个方块阵列中随机埋设一定数量的地雷,然后由玩家逐个打开方块,并以排除所有地雷为最终游戏目标。如果玩家打开的方块中有地雷,则游戏......
  • Python 依赖管理神器 Poetry 深入指南
    Poetry依赖管理详细教程引言在现代软件开发中,依赖管理是项目成功的关键。Python开发者现在有了一个新的选择:Poetry。Poetry是一个现代的Python包管理工具,旨在简化Python项目的创建、打包和发布。它提供了一种更直观和高效的方式来管理项目的依赖关系,相较于传统的p......
  • python的函数、魔法方法和案例
    1.python函数中self的用法在Python中,self 是一个对当前实例(对象)的引用,用于访问属于该类的变量和方法。在定义类的方法时,通常需要将 self 作为第一个参数。这允许在类的实例上调用方法时,自动将实例本身作为参数传递给方法。classPerson:def__init__(self,name......
  • 【视频讲解】Python灰色关联度分析直播带货效用、神经退行性疾病数据
    原文链接:https://tecdat.cn/?p=37273原文出处:拓端数据部落公众号 分析师:JiayiDeng 本文展示如何用灰色关联度分析的直播带货效用及作用机制研究,并结合一个分析神经退行性疾病数据实例的代码数据,为读者提供一套完整的实践数据分析流程。一、研究难点直播带货作为新兴产业,缺......