1. 需求任务列表
以下描述易学大模型软件的web应用的功能。
- 用户注册
- 用户邮箱,密码,验证码
- 开启官方邮箱,用来发验证码(QQ 网易都支持开启smtp协议,找教程,用邮箱不用手机号是为了省买发短信云服务的钱)
- 验证码缓存于redis,5min内有效
- 验证密码长度,验证码是否正确
- 新用户信息保存于mysql,密码使用md5第三方库进行加密
- 用户登录
- 用户邮箱与密码登录
- 校验身份
- 根据用户身份信息(也即邮箱,但不要包含密码)生成token
- 将token附带在响应中,发回客户端
- 用户完善身份信息
- 如姓名、年龄、性别
- 对自己的简单介绍等
- 用户创建专属知识库
- 用户可以创建属于自己的知识库,独立于其他用户的知识库存在
- 用户可以批量上传任意格式的文件,并将其加入知识库中
- 用户创建新会话
- 用户可以舍弃之前的上下文,创建一个全新的会话
- 该会话用户自己独立的上下文环境
- 用户还原历史会话
- 用户可以还原之前的历史会话信息,联系上下文继续与大模型chat
- 用户进行文件上传会话
- 用户可以上传一个或多个文件,但不添加至向量知识库,仅就这几个文件与大模型对话
- 用户创建易学知识博客
- 仿照csdn等博客网站,可以创建标题,提供博客标签,选择博客封面等进行博客撰写
- 支持markdown富文本编辑器
- 以markdown格式在网页端显示
- 易学贴吧/论坛
- 按时间分页显示近期的博客
- 用户可以收藏某一篇易学博客
- 用户可以在一篇易学博客下进行评论
- 管理员后台
- 可以查看任意用户的知识库、博客、与大模型的历史会话
- 可以封禁某用户及其邮箱,并以邮件的方式通知该用户
- 可以解禁某用户及其邮箱,并以邮件的方式通知该用户
2. 硬盘数据库选型
Sqlite(轻量级嵌入式数据库)+SqlAlchemy(Python的orm框架)
Sqlite官网:SQLite Home Page
SqlAlchemy官网:SQLAlchemy - The Database Toolkit for Python
2.1. Sqlite
作为一个嵌入式数据库,Sqlite不以服务进程的方式存在,而是作为文件嵌入在应用进程中。
这里的db文件就是Sqlite的嵌入式数据库文件,每次需要操作数据库时,打开该文件进行curd,操作数据库的会话提交一个事务时(commit),保存修改到该文件。
2.2. SqlAlchemy
SqlAlchemy是Python的一个orm框架,支持多种数据库驱动程序。官方统一地将连接数据库的函数封装了起来(对于所有驱动,都是同一个函数):
from sqlalchemy import create_engine
engine = create_engine("sqlite://", echo=True)
例如sqlite的连接方式就是”sqlite://{你的sqlite的db文件的路径}”。当然,其他数据库也可以,比如通过mysqlconnector进行Mysql数据库的连接。
值得一提的是,SqlAlchemy支持了两种非常强大的机制:类型映射以及依赖管理。此外,他还提供了相当多的语法糖。
类型映射
ORM Mapped Class Configuration — SQLAlchemy 2.0 Documentation
可以将python中的数据类型映射到对应数据库支持的数据类型,采用一个关键词叫做Mapped:
id: Mapped[int] = mapped_column(primary_key=True)
name: Mapped[str]
fullname: Mapped[str] = mapped_column(String(30))
nickname: Mapped[Optional[str]]
例如,也许你不知道字符串类型在Sqlite数据库中的具体形式,那么你就可以用Mapped[str]来将python的字符串类型自动映射到Sqlite的字符串类型上,同样的,int,bool,byte等等都可以进行映射。
依赖管理
可以说是关系型数据库外键(Foreign Key)的一个重要机制。
假设现在一个用户(User)有多个与大模型的会话(Conversation),那么显然Conversation表中应该包含对应于用户表主键的外键(例如,User.id)。依赖管理机制可以显式地管理这种一对一、一对多、多对一、多对多的依赖。
在User表的python DDL中:
conversations: Mapped[List["Conversation"]] = relationship(back_populates='owner') # 拥有的会话集合
List[”Conversation”]意味着一个用户可以有多个会话。
在Conversation的python DDL中:
owner: Mapped["User"] = relationship(back_populates='conversations')
“User”意味着一个会话只能属于一个用户。
CURD语法糖
这种有很多,比如增:
session.add(Conversation(id=conv_id, conv_name=nc.conv_name, create_time=datetime.datetime.utcnow(),
user_id=nc.user_id))
session.commit()
这里可以通过对象类型反解析出在哪个表插入数据。
查:
result = session.query(Record).filter(Record.conv_id == conv_id).all()
filter过滤器将充当where的条件,all返回所有满足条件的记录的列表。
其他功能,自查官方文档即可。
3. 数据库表设计
基于目前的需求,设计数据库表共七张:
- User:用户信息
- Conversation:用户与大模型会话信息
- Blog:用户博客信息
- KnowledgeBase:用户知识库metaData
- Comment:用户博客评论信息
- Record:用户与大模型对话记录信息
- Administrator:管理员信息
3.1. User表
class User(Base):
__tablename__ = 'User'
id: Mapped[str] = mapped_column(primary_key=True)
email: Mapped[str] = mapped_column() # 一个邮箱只能注册一个账号
password: Mapped[str] = mapped_column()
name: Mapped[str] = mapped_column()
is_active: Mapped[bool] = mapped_column(default=True) # 是否被封禁
age: Mapped[int] = mapped_column()
sex: Mapped[str] = mapped_column()
description: Mapped[str] = mapped_column()
conversations: Mapped[List["Conversation"]] = relationship(back_populates='owner') # 拥有的会话集合
blogs: Mapped[List["Blog"]] = relationship(back_populates='owner') # 拥有的博客集合
comments: Mapped[List["Comment"]] = relationship(back_populates='owner') # 拥有的评论集合
knowledge_bases: Mapped[List["KnowledgeBase"]] = relationship(back_populates='owner') # 拥有的知识库集合
def __repr__(self):
return f'<User(id={self.id}, email={self.email}, name={self.name})>'
3.2. Conversation表
class Conversation(Base):
__tablename__ = 'Conversation'
id: Mapped[str] = mapped_column(primary_key=True)
conv_name: Mapped[str] = mapped_column()
create_time: Mapped[datetime.datetime] = mapped_column(default=datetime.datetime.utcnow())
user_id: Mapped[str] = mapped_column(ForeignKey('User.id'))
owner: Mapped["User"] = relationship(back_populates='conversations')
records: Mapped[List["Record"]] = relationship(back_populates='conversation')
def __repr__(self):
return f'<Conversation(id={self.id}, conv_name={self.conv_name})>'
3.3. Blog表
class Blog(Base):
__tablename__ = "Blog"
id: Mapped[str] = mapped_column(primary_key=True)
title: Mapped[str] = mapped_column()
content: Mapped[Text] = Column(Text)
create_time: Mapped[datetime.datetime] = mapped_column(default=datetime.datetime.utcnow())
user_id: Mapped[str] = mapped_column(ForeignKey('User.id'))
owner: Mapped["User"] = relationship(back_populates='blogs')
comments: Mapped[List["Comment"]] = relationship(back_populates='blog')
def __repr__(self):
return f'<Blog(id={self.id}, title={self.title})>'
3.4. Comment表
class Comment(Base):
__tablename__ = "Comment"
id: Mapped[str] = mapped_column(primary_key=True)
content: Mapped[str] = mapped_column()
create_time: Mapped[datetime.datetime] = mapped_column(default=datetime.datetime.utcnow())
user_id: Mapped[str] = mapped_column(ForeignKey('User.id'))
blog_id: Mapped[str] = mapped_column(ForeignKey('Blog.id'))
owner: Mapped["User"] = relationship(back_populates='comments')
blog: Mapped["Blog"] = relationship(back_populates='comments')
def __repr__(self):
return f'<Comment(id={self.id}, content={self.content})>'
3.5. KnowledgeBase表
class KnowledgeBase(Base):
__tablename__ = "KnowledgeBase"
id: Mapped[str] = mapped_column(primary_key=True)
name: Mapped[str] = mapped_column()
description: Mapped[str] = mapped_column()
create_time: Mapped[datetime.datetime] = mapped_column(default=datetime.datetime.utcnow())
user_id: Mapped[str] = mapped_column(ForeignKey('User.id'))
owner: Mapped["User"] = relationship(back_populates='knowledge_bases')
def __repr__(self):
return f'<KnowledgeBase(id={self.id}, name={self.name})>'
3.6. Administrator表
class Administrator(Base):
__tablename__ = "Administrator"
id: Mapped[str] = mapped_column(primary_key=True)
name: Mapped[str] = mapped_column()
password: Mapped[str] = mapped_column()
def __repr__(self):
return f'<Administrator(id={self.id}, name={self.name})>'
3.7. Record表
class Record(Base):
__tablename__ = "Record"
id: Mapped[str] = mapped_column(primary_key=True)
content: Mapped[str] = mapped_column()
is_ai: Mapped[bool] = mapped_column()
conv_id: Mapped[str] = mapped_column(ForeignKey('Conversation.id'))
conversation: Mapped["Conversation"] = relationship(back_populates='records')
def __repr__(self):
return f'<Record(id={self.id}, content={self.content})>'
4. ER图
5. 依赖倒置原则下的数据库连接
仿照Spring的容器机制,我们希望一个组件的生命周期是伴随web应用的启动而创建,伴随web应用的结束而销毁。其中数据库连接就是这样的一个组件。
所有这样的组件,均在component包下,数据库连接引擎只是其中一个:
# DB_engine.py
db_lock = Lock()
engine = None
def init_db_conn():
global engine, db_lock
db_lock.acquire()
engine = create_engine(f'sqlite:///{SQLITE_CONNECTION["location"]}')
# 注册连接监听 连接时开启外键约束(默认不开启)
@event.listens_for(engine, "connect")
def enable_foreign_keys(dbapi_connection, connection_record):
cursor = dbapi_connection.cursor()
cursor.execute("PRAGMA foreign_keys=ON;")
logging.info("Sqlite数据库已开启外键约束")
cursor.close()
db_lock.release()
其中,全局变量engine即为数据库连接引擎。在web应用初始化时,我们调用init_db_conn,随后每次操作数据库,均使用该engine。
这里需要注意的是,Sqlite数据库连接时默认不开启外键约束(例如你可以在User根本不存在的情况下插入一条Conversation),因此我们开启连接时的监听,通过SQL语句打开外键约束选项。
标签:2024.05,__,26,column,Mapped,实训,str,mapped,id From: https://blog.csdn.net/lyh20021209/article/details/139219129