首页 > 数据库 >python3使用sqlite3构建本地持久化缓存

python3使用sqlite3构建本地持久化缓存

时间:2023-11-06 22:34:21浏览次数:32  
标签:缓存 持久 示例 cursor user sqlite3 python3 conn

环境:Windows 10_x64

python版本:3.9.2

sqlite3版本:3.34.0

日常python开发中会遇到数据持久化的问题,今天记录下如何使用sqlite3进行数据持久化,并提供示例代码及数据查看工具。

一、背景描述

python应用程序在运行过程中被kill掉(比如版本升级等情况),内存中的运行数据将会丢失,如果能够准实时将数据存储在缓存中,程序下次启动时将继续执行被kill之前的动作。

使用数据库作为持久化是笔记理想的选择,可现实情况可能需要python脚本进行本地持久化,相较于pickle等方式,sqlite3的持久化方式可扩展性比较强,方便后续迁移到mysql等数据库。

二、具体实现

1、基础使用示例

  • 查看版本信息

import sqlite3
print(sqlite3.version_info) #显示sqlite3版本信息
print(sqlite3.sqlite_version) #显示SQLite版本信息
  • 数据库创建或连接

conn = sqlite3.connect("test1.db")
cur = conn.cursor()
  • 数据表创建

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
cur.executescript(dbCreate)
conn.commit()
  • 插入数据

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.commit()
  • 查询数据

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

完整示例代码如下:

#! /usr/bin/env python3
#--*-- ebcoding:utf-8 --*--

import sqlite3

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''

# 创建或连接数据库
conn = sqlite3.connect("test1.db")
cur = conn.cursor()

cur.executescript(dbCreate)
conn.commit()

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(2,'user2','123457')")
conn.commit()

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

conn.close()

运行效果:

生成的 test1.db 数据库文件可以使用 sqlitestudio 进行查看,软件运行效果如下:

 

下载地址:

https://sqlitestudio.pl/

如果下载过慢,可从如下文末提供的渠道获取。

2、代码封装示例

实际使用过程中,需要进行代码封装,以便后续使用,这里以通话记录为例演示下封装过程。

1)定义全局缓存 gDCdrData,用于在内存中存放数据;
2)定义全局队列 gQCDR ,用于数据传递;
3)定义sqlite3持久化文件,并定义保留时长;
4)创建 ObjCdrItem 类,用于定义item数据结构;
5)定义sqlite3管理类 ObjCDRMgr,用于管理sqlite3数据库;
6)启动 dataGenThrd 线程模拟数据创建;
7)启动 updateThrd 线程用于数据更新;
8)启动 cleanThrd 线程用于数据清理;

示例代码如下:

 完整代码可从如下渠道获取:

关注微信公众号(聊聊博文,文末可扫码)后回复 20231106 获取。

运行效果如下:

 数据文件打开效果如下:

三、资源下载

本文涉及文件和示例代码从如下途径获取:

关注微信公众号(聊聊博文,文末可扫码)后回复 20231106 获取。

 好,就这么多了,希望对你有帮助。

标签:缓存,持久,示例,cursor,user,sqlite3,python3,conn
From: https://www.cnblogs.com/MikeZhang/p/pySqlite20231106.html

相关文章

  • Linux基础-清除主机缓存
    sync;echo3>/proc/sys/vm/drop_caches 关闭swap#关闭swapoff,关闭循环后,交换操作至少要等待40秒swapoff-a#开启swapswapon-a......
  • Redis分布式缓存、AOF与RDB详解
    分布式缓存单点Redis的问题1.数据丢失问题Redis是内存存储,服务重启可能会丢失数据2.并发能力问题单节点Redis并发能力虽然不错,但也无法满足如618这样的高并发场景3.故障恢复问题如果Redis宕机,则服务不可用,需要一种自动的故障恢复手段4.存储能力问题Redis基于内存,单节点能存储的数据......
  • 面试—如何介绍项目中的多级缓存?
    项目中使用的多级缓存也就是分布式缓存Redis+本地缓存Caffeine,那么令Caffeine作为一级缓存,Redis作为二级缓存,在项目中通过记录数据的访问次数,将热点数据放在本地缓存,将非热点数据放在Redis缓存中,访问流程如下:使用多级缓存的好处在于Redis单机每秒可以接收10w次的......
  • python3
    循环 1"""2while条件:3满足条件4#只要条件满足,会无限循环执行5"""6i=07sum=08whilei<=100:9sum=sum+i10i+=111print(sum)while循环猜数字1#无限次猜数字2importrandom3num=random.randint(1,100)......
  • java——redis随笔——实战——分布式缓存——哨兵
                                                                           ......
  • java——redis随笔——实战——分布式缓存——主从
                                                                               ......
  • 小程序性能提速大作战:缓存策略助你事半功倍!
    引言:嘿,各位小程序开发小伙伴们,你是不是在优化小程序性能的道路上磕磕绊绊,感觉进展缓慢?别担心,小编今天要和你聊聊小程序性能优化的秘密武器——缓存策略。我们不来搞得太严肃,就是要玩得爽!背景:小程序性能优化的关键之一就是减少不必要的数据请求,缓存策略正是为此而生。我们的目标是......
  • Asp.Net Core webapi+net6 使用资源筛选器(过滤器) 做缓存
    写一个特性类,用来做标记[AttributeUsage(AttributeTargets.Method)]//只对方法有效publicclassResourceFilterAttribute:Attribute{}我这里使用了MemoryCache来做缓存,也可以使用字典来做,但一定要加上static,否则字典每一次请求都会new一个实例,缓存的东西就丢了private......
  • java——redis随笔——实战——分布式缓存
    在使用Redis过程中,持久化是一项非常重要的功能,因为如果RedisServer停止工作,所有的数据将全部丢失。 为了避免这种情况的出现,我们需要将Redis中的数据保存在硬盘上,以保证数据不受服务器宕机影响。 Redis提供了两种持久化方式——RDB和AOF。    笔者将会以RDB与AOF......
  • 全网首发 Python3 实现快读(按字符读入(省内存专用
    全网首发Python3实现快读(按字符读入(省内存专用来源:https://www.luogu.com.cn/discuss/724761此题卡内存,如果按照Python常用的input().split()方法会MLE。因为input()一次读入大量字符串,占用内存极大。于是打算按照C++的快读逻辑写一个Python3的快读。然而并没有......