• 2025-01-08sqlalchemy.exc.OperationalError
    最后发现是密码中含特殊字符@导致的连接报错  其他参考:sqlalchemy.exc.OperationalError通常指示Python应用程序与数据库之间的连接出现问题。这里有一些可能的原因和解决方案:数据库连接参数错误:检查你的数据库连接字符串(DSN)。确保主机名、端口、数据库名称、用户名
  • 2025-01-08docker-compose部署下Fastapi中使用sqlalchemy和Alembic
    本篇介绍使用Fastapi+sqlalchemy+alembic来完成后端服务的数据库管理,并且通过docker-compose来部署后端服务和数据库Mysql。包括:数据库创建,数据库用户创建数据库服务发现Fastapi连接数据库Alembic连接数据库服务健康检查部署数据库version:'3'services:db:
  • 2024-12-20SQLAlchemy与Pandas版本差异中的URL字符问题:quote_plus来解决
    在数据科学和工程领域,SQLAlchemy和Pandas是两个极其常用的Python库。SQLAlchemy是一个强大的SQL工具包和对象关系映射(ORM)库,而Pandas则是数据处理和分析的必备工具。然而,在使用这两个库进行数据库操作时,特别是当它们的版本之间存在较大差异时,你可能会遇到一些字符处理的问题,尤其是
  • 2024-12-20scrapy中pipelines文件封装用sqlalchemy写入mysql数据库
    #前提必须安装 pymysql  sqlalchemy  scrapy#scrapy的piplines文件中fromsqlalchemyimportcreate_engine,text,insertimportpymysqlfromscrapy.utils.projectimportget_project_settingsclassMySQLPipeline:defopen_spider(self,spider):settings=
  • 2024-12-05sqlalchemy中的relationship(关系)的使用
    relationship的使用前言一、三种关系1.1一对一的关系1.2一对多的关系1.3多对多关系二、relationship中其他参数的详解cascabe(级联)参数使用lazy(加载)dynamic总结前言在SQLAlchemy中,relationship是用于定义对象之间关系的核心功能之一。它允许开发者在O
  • 2024-12-01SQLalchemy中Query对象使用
    SQLAlchemy中Query对象的使用前言一、表结构的声明和数据的插入二、使用1.过滤,分组,排序的使用1.1过滤(filter)使用1.2分组(group_by)的使用1.3排序(order_by)的使用2.去重,合并的使用2.1去重(distinct)2.2合并3.连接4.切片,分页。5.快捷方式总结前言Query对象是S
  • 2024-12-07Bladex集成screw数据库设计文档(图文说明)
    目录前言1.前端2.后端3.配置4.彩蛋前言对于Java的基本知识推荐阅读:java框架零基础从入门到精通的学习路线附开源项目面经等(超全)【Java项目】实战CRUD的功能整理(持续更新)screw的基本知识推荐阅读:数据库设计文档Screw的基本知识附Demo原先bladex集
  • 2024-10-15使用Pydantic和SqlAlchemy实现树形列表数据(自引用表关系)的处理,以及递归方式处理数据差异
    在我的设计框架业务中,字典大类、部门机构、系统菜单等这些表,都存在id、pid的字段,主要是作为自引用关系,实现树形列表数据的处理的,因为这样可以实现无限层级的树形列表。在实际使用Pydantic和SqlAlchemy来直接处理嵌套关系的时候,总是出现数据在Pydantic的对象转换验证上,爬坑一段时间
  • 2024-10-09python3数据库操作及ORM框架sqlalchemy使用
    sqlite3importsqlite3try:#连接到SQLite数据库,数据库文件是test.db,如果文件不存在,会自动在当前目录创建:conn=sqlite3.connect("test.db")#创建一个Cursorcursor=conn.cursor()#执行SQL语句cursor.execute("createtableuser(idva
  • 2024-10-09SQLAlchemy模块
    1、执行原生SQLfromsqlalchemyimportcreate_engine,text#创建engine对象engine=create_engine("sqlite:///demo.db",echo=False)withengine.connect()ascon:#先删除persons表con.execute(text('droptableifexistspersons'))#创建一个p
  • 2024-10-09SQLAlchemy入门:详细介绍SQLAlchemy的安装、配置及基本使用方法
    SQLAlchemy是一个流行的PythonSQL工具包和对象关系映射(ORM)框架,它为开发人员提供了一种高效、灵活的方式来与数据库进行交互。本文将详细介绍SQLAlchemy的安装、配置及基本使用方法,并通过代码示例和案例分析,帮助新手朋友快速上手。一、SQLAlchemy简介SQLAlchemy由MikeBa
  • 2024-09-26基于SqlAlchemy+Pydantic+FastApi的Python开发框架的路由处理
    在前面随笔《基于SqlAlchemy+Pydantic+FastApi的Python开发框架 》中介绍了框架总体的内容,其中主要的理念就是通过抽象接口的方式,实现代码的重用,提高开发效率。本篇随笔深入介绍一下FastApi的路由处理部分的内容,通过基类继承的方式,我们可以简化路由器(或者叫WebAPI控制器)的基础
  • 2024-09-24基于SqlAlchemy+Pydantic+FastApi的Python开发框架
    随着大环境的跨平台需求越来越多,对与开发环境和实际运行环境都有跨平台的需求,Python开发和部署上都是跨平台的,本篇随笔介绍基于SqlAlchemy+Pydantic+FastApi的Python开发框架的技术细节,以及一些技术总结。最近这几个月一直忙于Python开发框架的整合处理,将之前开发框架中很多重要
  • 2024-09-10pydantic 和 sqlalchemy 之间的模型转换
    字段dict#Assuming`session`isyourSQLAlchemysessionuser_instance=session.query(User).first()#ConverttoPydanticmodeldapter=TypeAdapter(User,UserPydantic)user_pydantic=adapter.to_pydantic(user_instance)#也可以UserPydantic.model_validate
  • 2024-09-02Celery 任务:SQLAlchemy 会话处理指南
    最近在做AIRAG相关的项目功能,对于RAG需要生成一些文本处理的异步任务,使用到了Celery。今天就写写关于Celery任务的文章,SQLAlchemy的真实情况是:它的学习曲线比DjangoORM更陡峭需要一些示例代码你需要了解一些较低层次的概念有一些难以理解的文档如果您确实使用`SQLAlch
  • 2024-08-29使用Flask快速构建Web后端项目:Python、Flask、Mysql、Migrate、SQLAlchemy、Login、Session、Scheduler
    Flask是一个用Python编写的轻量级Web应用框架。它设计简单且易于扩展,如果与Jinja2模板引擎和WerkzeugWSGI工具集结合使用,Flask可以用来快速开发小型到中型的网站。Flask鼓励快速开发和简洁的代码,同时保持了扩展性和灵活性。本文旨在如何使用Flask及其相关组件快
  • 2024-08-28【爬虫实战】——利用bs4和sqlalchemy操作mysql数据库,实现网站多行数据表格爬取数据
    前言此篇接上一篇的内容,在其基础上爬取网站的多行表格数据,以及把数据写入到mysql数据库中目录一、定位表格查找元素二、提取数据三、写入mysql数据库四、附录一、定位表格查找元素首先打开网站,如图需要爬取多行数据的表格,利用查找元素定位,看图中分析得知我要爬取的是tr