首页 > 编程语言 >(数据科学学习手札161)高性能数据分析利器DuckDB在Python中的使用

(数据科学学习手札161)高性能数据分析利器DuckDB在Python中的使用

时间:2024-06-05 18:33:14浏览次数:14  
标签:Python 161 DuckDB parquet 格式 csv pandas

本文完整代码及附件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

  大家好我是费老师,就在几天前,经过六年多的持续开发迭代,著名的开源高性能分析型数据库DuckDB发布了其1.0.0正式版本。

  DuckDB具有极强的单机数据分析性能表现,功能丰富,具有诸多拓展插件,且除了默认的SQL查询方式外,还非常友好地支持在PythonRJavaNode.js等语言环境下使用,特别是在Python中使用非常的灵活方便,今天的文章,费老师我就将带大家一起快速了解DuckDBPython中的常见使用姿势

标签:Python,161,DuckDB,parquet,格式,csv,pandas
From: https://www.cnblogs.com/feffery/p/18233565

相关文章

  • 无缝融合:使用 Python 和 PyFFmpeg 合并视频的完整指南
    前言在当今数字化时代,视频内容无处不在。从社交媒体到在线教育,视频已经成为我们生活中不可或缺的一部分。但是,有时候我们可能需要将多个视频片段合并成一个,创造出更丰富、更有吸引力的内容。而今天,我们将向您展示如何使用Python和PyFFmpeg工具实现这一目标。准备工作:安装P......
  • 音频剪裁大师:使用 Python 和 ffmpeg 分割音频的完整指南
    前言在音频处理中,有时候我们需要对音频文件进行分割,提取其中的部分内容以满足特定需求。而Python提供了许多强大的工具和库来实现这一目标,其中ffmpeg是一个功能强大的工具,它不仅支持音频分割,还能进行音频转码、合并、提取等操作。本文将介绍如何使用Python和ffmpeg来分......
  • 流畅的python--第七章
    把函数视为对象在python中,函数是一等对象。编程语言研究人员把“一等对象”定义为满足以下条件的程序实体:在运行时创建;能赋值给变量或数据结构中的元素;能作为参数传给函数;能作为函数的返回结果。示例7-1创建并测试一个函数,读取函数的__doc__属性,再检查函数的类型......
  • Python_input
    input函数目录input函数概念具体用法函数类型转换实践概念作用:可以用来从用户那里获取输入。用法:input(),里面放字符串作为给用户的提示信息。调用参数的方式:函数名后面跟括号(),然后在括号里面放上参数(要传入的数据)。具体用法input函数在用户输入后,会把内容进行返回。所以......
  • python3环境安装
    安装python3.6(更高版本对openssl版本有要求centos7可能build失败)curl-q#https://www.python.org/ftp/python/3.6.9/Python-3.6.9.tar.xz-oPython-3.6.9.tar.xztarxfPython-3.6.9.tar.xzcdPython-3.6.9/./configure--prefix=/opt/python3.6make-j4&&makeinst......
  • Python中将输入字符格式化输出(format函数)
    --------要求--------键盘输入字符串s,按要求把s输出到屏幕,格式要求:宽度为30个字符,星号字符*填充,居中对齐。如果输入字符串超过30位,则全部输出。例如:键盘输入字符串s为"Congratulations",屏幕输出*******Congratulations********--------脚本示例--------s=input("请......
  • python执行模式
    Python执行模式目录Python执行模式命令行模式交互模式好处:坏处:命令行模式命令行模式:写好命令之后,保存并运行整个文件。运行的时候,python解释器会一行一行对文件进行解析和执行。交互模式交互模式:输入一行后,python立即执行,并展示运行结果。好处:不需要创建任何新文件,py......
  • python用于类型注解的库- typing
    一、简介动态语言的灵活性使其在做一些工具,脚本时非常方便,但是同时也给大型项目的开发带来了一些麻烦。自python3.5开始,PEP484为python引入了类型注解(typehints),虽然在pep3107定义了函数注释(functionannotation)的语法,但仍然故意留下了一些未定义的行为.现在已经拥有许......
  • 七种方法让 Python 代码更容易维护
    随着软件项目进入“维护模式”,对可读性和编码标准的要求很容易落空(甚至从一开始就没有建立过那些标准)。然而,在代码库中保持一致的代码风格和测试标准能够显著减轻维护的压力,也能确保新的开发者能够快速了解项目的情况,同时能更好地全程保持应用程序的质量。使用外部库来检查代码的......
  • python内置函数——sorted
    对List、Dict进行排序,Python提供了两个方法对给定的ListL进行排序,方法1.用List的成员函数sort进行排序,在本地进行排序,不返回副本方法2.用built-in函数sorted进行排序(从2.4开始),返回副本,原始输入不变--------------------------------sorted----------------------------------......