前言
在本文中，将演示如何使用从Roboflow获得的开源产品数据来训练我的YOLOv8模型，然后将其与从Hugging Face获得的chef-transformer（T5）模型集成。应用程序的主要目标是将检测到的对象参数化地发送到语言模型，并在NLP和CV之间建立关系。
YOLOv8 目标检测
YOLOv8是由ultralytics公司在2023年1月10日开源的一款重量级更新版本，作为YOLOv5的继承者，它支持图像分类、物体检测和实例分割等任务。在开源之前，YOLOv8就已经受到了用户的热切期待。作为一个SOTA（State of the Art）模型，YOLOv8在前代YOLO系列的成功基础上，引入了多项创新，旨在进一步提升模型的性能和灵活性。这些创新包括一个全新的骨干网络、一个无Anchor的检测头，以及一个新型的损失函数，使得模型能够在从CPU到GPU的各种硬件平台上流畅运行。
ultralytics公司并没有将这个开源库命名为YOLOv8，而是选择了“ultralytics”这个名称。这样做的原因是，公司希望将这个库定位为一个算法框架，而不仅仅是一个特定的算法。ultralytics的主要特点是其可扩展性，它不仅能够支持YOLO系列模型，还旨在兼容非YOLO模型，并能够广泛应用于分类、分割、姿态估计等多种任务。
环境安装
conda create -n yolov8 python=3.8
activate ylolv8
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia
pip install ultralytics
从Roboflow获取YOLOv8训练数据
Roboflow 是一个资源丰富的平台，拥有超过2亿张图像和20多万个数据集，为训练模型提供了广泛的选择。它能够满足对水果和蔬菜图像数据的需求，以便训练我的模型。此外，Roboflow 提供了 Roboflow Health Check 模块，这是一个功能强大的模块，允许在训练模型之前进行深入分析。这有助于更好地理解所需数据，并确保使用最恰当的数据集。
导入库并定义需求
import os
import streamlit as st
from ultralytics import YOLO
from IPython.display import display, Image
from langchain import PromptTemplate, HuggingFaceHub, LLMChain
模型推理
使用模型预测测试图像，并将检测到的对象类别存储在变量中。
model = YOLO('C:\\Users\\batuh\\Desktop\\last_pr_best.pt')
results = model.predict(source='test.jpeg', conf=0.50, save = True)
unique_names = set()
names = model.names
for r in results:
for c in r.boxes.cls:
unique_names.add(names[int(c)])
print(unique_names)
以这种方式返回唯一类别并将像这样将它们传递给语言模型。
{'Potato', 'Garlic', 'Onion', 'Tomato', 'Green Chili'}
语言模型
pip install transformers
在语言模型中使用检测到的对象
使用Langchain库来训练了超过200万食谱的语言模型。在这里，将的YOLO模型检测到的对象作为文本输入，以便生成菜谱。
template = """Question: {question}: """
prompt = PromptTemplate(template=template, input_variables=["question"])
llm_chain = LLMChain(prompt=prompt,
llm=HuggingFaceHub(repo_id="flax-community/t5-recipe-generation",
model_kwargs={"temperature": 0.3, "max_length": 512}))
question = ', '.join(unique_names)
recipe = llm_chain.run(question)
得到了一个不错的炸三角食谱，如下：
'title: samosas ingredients: 1 large potato 1 tbsp minced garlic 1 tbsp minced onion 1 tbsp minced tomato 1 tbsp minced green chili answer the call 1 tbsp do cook. directions: cut the potato into small cubes. add the minced garlic, minced onion, minced tomato, and minced green chili. mix well. heat a griddle or frying pan over medium heat. place the samosas on the griddle and cook until golden brown on both sides.'
使用Streamlit创建界面
使用Streamlit创建了一个交互式界面，Streamlit是一个开源的Python库，可以轻松创建和共享机器学习和数据科学项目的Web应用程序。
import os
import streamlit as st
from ultralytics import YOLO
from IPython.display import display, Image
from langchain import PromptTemplate, HuggingFaceHub, LLMChain
model_path = 'C:\\Users\\batuh\\Desktop\\last_pr_best.pt'
st.set_page_config(
page_title="Recipe Generator",
page_icon="
标签：transformer,image,T5,recipe,st,chef,names,path,model
From： https://blog.csdn.net/matt45m/article/details/142556357