首页 > 其他分享 >首个原生自训练Anole模型详细落地经验分享

首个原生自训练Anole模型详细落地经验分享

时间:2024-07-08 09:30:45浏览次数:18  
标签:原生 落地 python 模型 生成 图像 Anole 图文

Anole模型是由上海交通大学GAIR团队研发的全球首个完全开源、自回归、原生训练的多模态大模型,专门用于交错图文生成。

Anole模型无需依赖复杂的扩散模型或其他技术,即可实现文字与图像的无缝交织,提供了一种原生的多模态生成解决方案。

Anole使用了约6,000张图像进行微调,以最少的额外训练实现了出色的图像生成和理解能力。

Anole通过局部微调方法,仅调整了不到40M的参数,便激发了Chameleon模型的图像生成能力,展示了在大型多模态模型中恢复复杂功能的高效性。

Anole不仅支持文本生成图像和交错图文生成,还具备纯文本生成和多模态理解的能力,使其在多种应用场景中都能发挥作用。

github项目地址为:https://github.com/GAIR-NLP/anole。

一、环境安装

1、python环境

建议安装python版本在3.10以上。

2、pip库安装

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

pip install python-dotenv -i https://pypi.tuna.tsinghua.edu.cn/simple

cd chameleon

pip install -e .

3、Anole-7b-v0.1模型下载

git lfs install

git clone https://huggingface.co/GAIR/Anole-7b-v0.1

、功能测试

1、命令行运行测试

首先设置模型路径为:

export CKPT_PATH= anole-model/Anole-7b-v0.1

(1)文本生成图像测试

python text2image.py -i INSTRUCTION -b BATCH_SIZE -s SAVE_DIR

这个命令用于根据给定的指令生成图像,具体参数包括:

INSTRUCTION:指定用于图像生成的指令或描述。

BATCH_SIZE :设置要一次性生成的图像数量,默认值为10张。

SAVE_DIR:指定保存生成图像的目录路径。

(2)交错图文生成测试

python interleaved_generation.py -i INSTRUCTION -s SAVE_DIR

这个命令用于根据给定的指令生成交错图文,具体参数包括:

INSTRUCTION:指定用于交错图文生成的指令或描述。

SAVE_DIR:指定保存生成图像的目录路径。

2、测试结果

(1)文本生成图像结果

python text2image.py -i 'draw a parrot' -b 3 -s ./result

(2)交错图文生成结果

python interleaved_generation.py -i 'Please introduce the Paris of with pictures.' -s ./result

未完......

更多详细的内容欢迎关注:杰哥新技术

标签:原生,落地,python,模型,生成,图像,Anole,图文
From: https://blog.csdn.net/m0_71062934/article/details/140249346

相关文章

  • 【AI落地工程技术】— 垂直领域大模型的构建
    目录一、引言二、领域数据收集与预处理2.1数据收集2.2数据清洗2.3数据标注2.4数据增强三、模型选择与微调3.1模型选择3.2微调策略3.3多任务学习四、特征工程与融合4.1领域特征提取4.2特征融合五、模型评估与优化维度5.1评估指标5.2模型优化5.3迭......
  • 原生js上传图片至阿里云oss并回显,配合上个帖子的java使用
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>Invoice</title>......
  • Apache Doris 实时数仓场景建设四大新体系 & 湖仓一体化建设四大落地解决方案
    原文:https://mp.weixin.qq.com/s/PT9efWW8IPWUZOpnPzGMJg之前我们讲了很多构建方面的经验,但是在湖仓一体化建设上没有过多的去描述具体怎样演进,怎样落地,能做哪些事,那今天这篇就来详细唠唠基于ApacheDoris的湖仓演进方案,至最后演进至AllInOneDoris的架构。ApacheDoris......
  • Kubernetes云原生存储解决方案openebs部署实践-4.0.1版本(helm部署)
    Kubernetes云原生存储解决方案openebs部署实践-4.0.1版本(helm部署)简介OpenEBS是一种开源云原生存储解决方案。OpenEBS可以将Kubernetes工作节点可用的任何存储转化为本地或复制的Kubernetes持久卷。OpenEBS帮助应用和平台团队轻松地部署需要快速、持久耐用、可靠且可扩展......
  • 如何计算弧线弹道的落地位置
    1)如何计算弧线弹道的落地位置2)Unity2021IL2CPP下使用Protobuf-net序列化报异常3)编译问题,用Mono可以,但用IL2CPP就报错4)Wwise的Bank在安卓上LoadBank之后,播放没有声音这是第393篇UWA技术知识分享的推送,精选了UWA社区的热门话题,涵盖了UWA问答、社区帖子等技术知识点,助力大家更全......
  • Kubernetes云原生存储解决方案openebs部署实践-3.10.0版本(helm部署)
    Kubernetes云原生存储解决方案openebs部署实践-3.10.0版本(helm部署)记录在k8s1.19.0集群环境下安装openebs3.10.0。环境信息如下:[root@k8s-master~]#cat/etc/centos-releaseCentOSLinuxrelease7.9.2009(Core)[root@k8s-master~]#uname-aLinuxk8s-master3.10.0-......
  • 【云原生】Kubernetes-kubeadm升级版本
    一、版本升级当我们要用到新版本的一些功能和特性的时候或者当前版本太旧无法满足需要的时候势必要对Kubernetes集群进行升级。1.1、升级Master节点1.1.1、腾空节点[root@master~]#kubectlgetnodeNAMESTATUSROLESAGEVERSIONmaster......
  • 【AI落地工程技术】-LangChain框架介绍及使用步骤
    目录一、特点二、原理三、应用场景四、未来发展趋势五、简单LangChain使用步骤 安装LangChain2.配置环境3.创建提示模板(PromptTemplates)4.构建链(Chains)5.运行链并处理结果6.优化和部署7.持续监控和评估示例代码整合六、复杂LangChain使用步骤(构建一个问......
  • 相比GPT-4o更懂你的情绪,blsp-emo模型最新落地经验分享
    BLSP-Emo是一个中英双语共情语音对话模型,由通义实验室与中国科学院自动化研究所联合开源,旨在赋予大语言模型理解语音输入中的语义与情感,并生成共情回复的能力。BLSP-Emo的模型架构通过一个模态适配器将语音编码器Whisper和大语言模型Qwen-7B-Chat连接起来,实现了更好的语义和情......
  • WebComponent原生的组件化闲谈
    一、webcomponent是啥?webcomponent是w3c的一套使得开发者可以将HTML页面的功能封装成自定义标签(customelements)的标准,可以类比目前流行的React、Vue等前端框架的组件化思想,不过webcomponent是前端标准提供的原生的组件化思想,其实和现有框架的组件化思想有异曲同工之妙,不同......