昇思AI框架实践2:基于T5的SQL语句生成模型推理

 MindSpore 基于T5的SQL语句生成项目实施

基于T5的SQL语句生成项目介绍

• 本项目旨在开发一个基于T5-small模型的自然语言转SQL语句生成器。该生成器能够将用户以自然语言形式提出的查询请求转换为对应的SQL查询语句，从而使得即使是不熟悉SQL语言的用户也能够轻松地从数据库中检索所需信息。
• 本项目使用HuggingFace中经过大量英文语料预训练的T5-small模型并对其模型迁移，将其变为MindSpore可用的模型。

项目地址：昇思大模型平台

项目mindspore环境安装，参见：昇思AI框架实践1:安装MindSpoe和MindFormers-CSDN博客

 下载基于T5的SQL语句生成模型

项目地址：昇思大模型平台

模型文件下载地址：昇思大模型平台 

前面走了弯路，使用git clone下载了模型。其实mindformers支持自动下载模型，所以只要在代码里设定好模型的名字为t5_small即可

import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizer


t5 = T5ForConditionalGeneration.from_pretrained(”t5_small“)

使用git下载模型（不必须）

模型位置：昇思大模型平台

使用git下载

git clone https://source-xihe-mindspore.osinfra.cn/zhanglingyun2023/Text2SQL_model.git

MindSpoe模型推理lenet模型例子

加载lenet模型例子

from mindspore import load_checkpoint, Tensor
from mindspore.common import set_seed
from mindvision.classification.models import lenet
from mindspore.train import Model

# 定义模型
net = lenet(num_classes=10, pretrained=False)

# 加载参数
param_dict = load_checkpoint("./lenet/lenet-1_1875.ckpt")

# 将参数加载到模型中
load_param_into_net(net, param_dict)

 推理lenet模型

# 假设data是一个包含输入数据的字典，labels是实际标签
output = model.predict(Tensor(data['image']))
predicted = np.argmax(output.asnumpy(), axis=1)
print(f'Predicted: "{predicted}", Actual: "{labels}"')

后来发现可以直接用MindFormers推理，非常简单方便。

使用MindFormers推理 

MindFormers里面给的例子：

python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

根据这个例子，改写的命令应该是：

python mindformers/run_mindformer.py --config Text2SQL_model/text2sql.yaml --run_mode Text2SQL_model/text2sql.ckpt

后来发现了该项目里面gradio app的例子代码，参考该代码，MindFormers在python里面使用起来更简单方便。

项目中的gradio app例子代码

import gradio as gr
import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizer

model_path = './'
t5 = T5ForConditionalGeneration.from_pretrained(model_path)
tokenizer = T5Tokenizer.from_pretrained("t5_small")
t5.set_train(False)
mindspore.set_context(mode=0, device_id=0)

def generate_SQL(text):
    text = "translate English to SQL: %s </s>" % text
    inputs = tokenizer(text)
    outputs = t5.generate(inputs["input_ids"],do_sample=False)
    response = tokenizer.decode(outputs,skip_special_tokens=True)[0]
    return response

# 创建 Gradio 界面
iface = gr.Interface(
    fn=generate_SQL,
    inputs=[
        gr.Textbox(lines=2, placeholder="请输入需求"),
    ],
    outputs=gr.Textbox(),
    title="SQL语句生成器",
    description="请输入英文需求,自动生成SQL语句。\n 例如：Search for the names of all employees over the age of 30。"
)

# 运行应用程序
iface.launch()

经过测试，发现可以直接在t5 = T5ForConditionalGeneration.from_pretrained(model_path) 这句话里写模型名字，如：t5 = T5ForConditionalGeneration.from_pretrained("t5_small")系统会自动下载模型。当然也可以像例子那样写，手工下载模型文件到相应的目录。

根据例子代码改写的推理代码

如果没有手工下载模型，那就在设置里写上模型名字"t5_small"即可。

t5 = T5ForConditionalGeneration.from_pretrained(”t5_small“)

tokenizer = T5Tokenizer.from_pretrained("t5_small")

import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizer

# model_path = './'
# t5 = T5ForConditionalGeneration.from_pretrained(model_path)
t5 = T5ForConditionalGeneration.from_pretrained("t5_small")
tokenizer = T5Tokenizer.from_pretrained("t5_small")
t5.set_train(False)
mindspore.set_context(mode=1, device_id=0)

def generate_SQL(text):
    text = "translate English to SQL: %s </s>" % text
    inputs = tokenizer(text)
    outputs = t5.generate(inputs["input_ids"],do_sample=False)
    response = tokenizer.decode(outputs,skip_special_tokens=True)[0]
    return response

description="请输入英文需求,自动生成SQL语句。\n 例如：Search for the names of all employees over the age of 30。"
inputs = input(description)
output = generate_SQL(inputs)
print (output)
while True:
    inputs = input(description)
    if inputs=="q" or inputs=="0" :
        break
    output = generate_SQL(inputs)
    print(output)

推理结果

2024-08-29 13:30:48,564 - mindformers[mindformers/generation/text_generator.py:478] - INFO - total time: 19.149714946746826 s; generated tokens: 13 tokens; generate speed: 0.678861279979964 tokens/s

SELECT User FROM table WHERE Name = hello

共计用时19秒，在cpu下速度算是可以了。

问题：Search for the names of all employees over the age of 30。"

回答：SELECT Name FROM table WHERE Label = "Stu_Db" AND Age > 30