数据库_duckdb_读取csv创建表等案例

duckdb

 duckdb 读取csv格式文件
 duckdb 连接数据库-创建表
 duckdb 将数据转换为dataframe
 dataframe apply  merge  groupby

代码示例

#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
# ---------------------------
import duckdb
import os

if __name__=="__main__":
    csv_dir         = r"/test/grade_class/example_csv"
    area_file_nm    = r"class_grade.csv" 
    result_file_nm  = r"class_school_result.csv" 
    area_csv_file   = os.path.join(csv_dir,area_file_nm)
    school_csv_file = os.path.join(csv_dir,result_file_nm)
    area_table_nm   = "area_info"
    school_table_nm = "school_info"
    # 如果一张表我们要经常查询还是需要将其导入到数据库
    out_file_db = os.path.join(csv_dir,'area_school_file.db')
    if not os.path.exists(out_file_db):
        conn = duckdb.connect(out_file_db)
        c = conn.cursor()
        area_table_cmd    = ("CREATE TABLE {0} AS SELECT * FROM read_csv_auto('{1}') ").format(area_table_nm,area_csv_file)
        school_table_cmd  =  ("CREATE TABLE {0} AS SELECT * FROM read_csv_auto('{1}') ").format(school_table_nm,school_csv_file)

        c.execute(area_table_cmd)
        c.execute(school_table_cmd)
        c.execute("SELECT * FROM {0} limit 5".format(area_table_nm))
        print(c.fetchone())
        c.execute("SELECT * FROM {0} limit 3".format(school_table_nm))
        print(c.fetchone())
        conn.close()
    else:
        # 原生方式连接到DuckDB
        con = duckdb.connect(database = out_file_db, read_only = False)
        area_dat = con.sql("SELECT * FROM {}".format(area_table_nm))
        area_dat.limit(3).show()
        school_dat = con.sql("SELECT * FROM {}".format(school_table_nm))
        school_dat.limit(3).show()
        ## trans to dataframe
        area_df = area_dat.df()
        school_df = school_dat.df()
        ## 对 Series 使用 apply
        area_df['bag_nm'] = area_df["grade_path"].apply(lambda x: x.split("/")[-1])
        # 使用 merge 方法进行内连接  
        result = school_df.merge(area_df,  on='bag_nm', how='left') 
        print(area_df.head(),result.head() )
        out_file_path = os.path.join(csv_dir,"result.csv")
        ## 保存数据
        result.to_csv(out_file_path, index=False)
        print(result.head(3))
        ## 分组统计
        data_stat = result.groupby(by=["class","grade"])['student_cnt'].sum().reset_index()
        print(data_stat)
        con.close()

数据库历史

01.数据库兴起：
   数据库三巨头是 Oracle、‌IBM Db2、‌Microsoft SQL Server
  Oracle，IBM和微软最终成为了商业数据库领域的三驾马车
02.21世纪 以 MySQL 和 PostgreSQL 为代表的开源数据库逐渐成熟
 
03.云计算时代：  云计算的出现，已经在重构数据库市场
    Snowflake MongoDB Redis

the client-server model

客户端-服务器架构时
OLAP方面客户端-服务器，
  MySQL	PostgreSQL  
  Oracle Microsoft SQL Serve
OLTP方面客户端-服务器系统，
 	ClickHouse 	 
 Don’t Hold My Data Hostage – A Case For Client Protocol Redesign
    说明
       是 VLDB 2017 的一篇论文，主要着眼于数据库客户端协议的设计
         Result set serialization (RSS) 的性能可能对数据库查询接口性能有较大的影响。
    	 （绝大部分耗时都在 RSS 上，连接数据库和查询实际执行耗时甚至可以忽略不计）
    	 流行的 ODBC 和 JDBC 都主要提供按行访问的 API，然而列式结果集理论上可以有更好的压缩率 
    	 提出了一种适用于导出大型结果集的基于列的序列化方法	 实现了基于 chunk 的新的结果集格式的协议  
    	 
    	 按列进行压缩在某些数据集上有不错的表现，但是在全体数据集上可能表现不佳，因此论文的实现方法决定不使用按列压缩
          Richard Wisley 参考Marcin Zukowski的博士论文开发出 Tableau Data Engine	
    The client-server model流程：
         服务器将数据序列化为结果集格式。
         转换后的消息通过 Socket 发送给客户端。
         客户端对结果集进行反序列化，实际使用数据
    
        01.Network Impact	
        02.不同数据库系统客户端协议使用的结果集格式	
    	    设计序列化格式时主要需要权衡序列化/反序列化计算成本和数据传输成

进程内(in-process) 数据库

OLAP  在线事务处理
   SQLite 进程内系统，面向 OLTP（在线事务处理）	
   Firebird	   
OLTP 
 DuckDB 
  vectorized execution engine 
  Mark Raasveldt 和 Hannes Mühleisen 的作品	
嵌入式数据库-Embedded Database） 嵌入式系统 物联网（IoT）设备 移动应用
    Berkeley DB	 Firebird UnQLite
	SQLite 是 D.RichardHipp 用一个小型的C库开发
	据应用的具体需求进行选择。
	    对于需要高读写性能的应用，可以选择 LevelDB 或 RocksDB ；
	    对于需要高可靠性的应用，可以选择 Berkeley DB ； Berkeley DB可以保存任意类型的键/值对（Key/Value Pair）
	     对于需要简单易用的应用，可以选择 SQLite
	Berkeley DB	 
		 
    Empress（商业数据库）
	Java 生态圈中的嵌入式数据库 Derby 
	LevelDB 是由 Google 创建的一个键值对的开源数据库

参考

 https://www.infoq.com/articles/analytical-data-management-duckdb/
 https://blog.csdn.net/xuejianxinokok/article/details/136205492