首页 > 数据库 >使用Python的DataFrame和duckdb查询PG数据库

使用Python的DataFrame和duckdb查询PG数据库

时间:2024-05-08 15:37:30浏览次数:37  
标签:PostgreSQL Python DataFrame duckdb table your conn

直接使用以下脚本:

import psycopg2
import duckdb
import pandas as pd

# Connect to PostgreSQL
conn_postgres = psycopg2.connect(
    dbname="pg_test_db",
    user="your_username",  # Replace with your username
    password="your_password",  # Replace with your password
    host="localhost",  # Or your PostgreSQL server's address
    port="5432"  # Default PostgreSQL port
)

# Fetch data from PostgreSQL into a pandas DataFrame
query = "SELECT * FROM table_test"
df = pd.read_sql_query(query, conn_postgres)

# Close the PostgreSQL connection
conn_postgres.close()

# Initialize DuckDB in-memory database
duckdb_conn = duckdb.connect(database=':memory:')

# Load the DataFrame into DuckDB
duckdb_conn.register('table_test_duck', df)

# Now you can perform queries using DuckDB on the registered table
result_df = duckdb_conn.execute("SELECT * FROM table_test_duck WHERE some_column = 'some_value'").fetchdf()

# Display the result
print(result_df)

# Don't forget to close the DuckDB connection when done
duckdb_conn.close()

标签:PostgreSQL,Python,DataFrame,duckdb,table,your,conn
From: https://www.cnblogs.com/huangshiyi/p/18179941

相关文章

  • Python基础之基本运算符
    【一】参考网站菜鸟教程:https://www.runoob.com/python/python-operators.html【二】算数运算符python支持的算数运算符与数学的运算符号是一样的#【1】加法运算符a=3b=4c=a+bprint(c)#输出7#【2】减法运算符a=3b=4c=a-bprint(c)#......
  • Python基础之流程控制语句
    【一】流程控制语句介绍程序是由语句构成,而流程控制语句是用来控制程序中每条语句执行顺序的语句流程控制方式有顺序结构分支结构循环结构最简单最常用的就是顺序结构,执行方式是从上至下一句一句来【二】顺序结构【1】什么是顺序结构顺序结构是指按照代码书写的顺......
  • threading:Python线程锁与释放锁
    控制资源访问前文提到threading库在多线程时,对同一资源的访问容易导致破坏与丢失数据。为了保证安全的访问一个资源对象,我们需要创建锁。示例如下:importthreadingimporttimeclassAddThread():def__init__(self,start=0):self.lock=threading.Lock()......
  • nuitka: Python代码打包为exe
    一.pyinstaller和Nuitka使用感受1.1使用需求这次也是由于项目需要,要将python的代码转成exe的程序,在找了许久后,发现了2个都能对python项目打包的工具——pyintaller和nuitka。这2个工具同时都能满足项目的需要:隐藏源码。这里的pyinstaller是通过设置key来对源码进行加密的;而......
  • binaascii:A Python 在二进制和 ASCII 之间转换
    binaascii是一个用于在二进制和ASCII之间转换的模块。b2a_base64是binaascii模块中的一种方法,它将base64数据转换为二进制数据。下面是这个方法的一个例子:importbase64importbinasciimsg="Tandrew"encoded=msg.encode('ascii')base64_msg=base64.b64encode......
  • geopandas:Python绘制数据地图
    https://mp.weixin.qq.com/s/Nq5Ygy0axI83H2dclU56yQGeoPandas是一个Python开源项目,旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型,并使用matplotlib进行绘图。GeoPandas官方仓库地址为:GeoPandas。GeoPandas的官方文档地址为:GeoPandas-doc。本......
  • difflib: Python 比较数据集
    difflib 是一个专注于比较数据集(尤其是字符串)的Python模块。为了具体了解您可以使用此模块完成的几件事,让我们检查一下它的一些最常见的函数。SequenceMatcherSequenceMatcher 是一个比较两个字符串并根据它们的相似性返回数据的函数。通过使用 ratio(),我们将能够根据比率/......
  • string:Python的文本常量与字符串模板
    前言在程序中,有很多高效率的字符串处理方式,如果开发者能够完全掌握这些高效的字符串处理,往往在开发者也能事半功倍。比如针对于字符串的处理,也是自然语言处理的基础知识。而python3中,处理字符串的库为:string。本篇将详细介绍各种字符串的高效处理方式。首字母大写对于英文单词......
  • time:Python的时间时钟处理
    前言time库运行访问多种类型的时钟,这些时钟用于不同的场景。本篇,将详细讲解time库的应用知识。获取各种时钟既然time库提供了多种类型的时钟。下面我们直接来获取这些时钟,对比其具体的用途。具体代码如下:importtimeprint(time.monotonic())print(time.monotonic_ns())pri......
  • Python基础之程序与用户交互
    程序与用户交互【一】什么是与用户交互交互就是输入和输出input输入数据,print输出数据【二】为什么要与用户交互将计算机拟人化,实现像人一样能和用户进行交流我们需要一个平台,也就是计算机来支持用户实现数据的输入和输出【三】如何与用户交互【1】输入(input)(1)Python3......