首页 > 其他分享 >Learning Transferable Visual Models From Natural Language Supervision

Learning Transferable Visual Models From Natural Language Supervision

时间:2024-05-29 10:47:05浏览次数:13  
标签:Natural Language Models Transferable Visual Learning

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

Proceedings of the 38 th International Conference on Machine Learning, PMLR 139, 2021. 

 

Abstract

 

1. Introduction and Motivating Work

 

2. Approach

 

2.1. Creating a Sufficiently Large Dataset

 

 

2.2. Selecting an Efficient Pre-Training Method

 

2.3. Choosing and Scaling a Model

 

2.4. Pre-training

 

2.5. Using CLIP

 

3. Analysis

 

3.1. Initial Comparison to Visual N-Grams

 

3.2. Zero-Shot Performance

 

3.3. Representation Learning

 

3.4. Robustness to Natural Distribution Shift

 

4. Data Overlap Analysis

 

5. Broader Impacts

 

6. Limitations

 

7. Related Work

 

8. Conclusion

标签:Natural,Language,Models,Transferable,Visual,Learning
From: https://www.cnblogs.com/lucifer1997/p/18219682

相关文章

  • DDL(Data Definition Language)数据定义语句
    DDL语句的主要作用是定义或修改数据表的结构或数据类型。数据表的创建:CREATETABLE{表名}({字段名}{数据类型}{限制条件1}{限制条件2}...,{字段名}{数据类型}{限制条件1}{限制条件2}...);注:*每个字段之间需要写逗号*限制条件可以不加示例:#创......
  • Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning
    最近要看一些推理攻击的内容,把看过的都放过来吧DeepModelsUndertheGAN:InformationLeakagefromCollaborativeDeepLearningGAN下的深度模型:协作深度学习的信息泄漏ACMCCS2017文章目录一、论文信息1.题目2.作者3.期刊年限4.关键词二、背景三、创新......
  • 怎么使用Stable diffusion中的models
    Stablediffusion中的modelsStablediffusionmodel也可以叫做checkpointmodel,是预先训练好的Stablediffusion权重,用于生成特定风格的图像。模型生成的图像类型取决于训练图像。如果训练数据中从未出现过猫的图像,模型就无法生成猫的图像。同样,如果只用猫的图像来训练模型,它也......
  • FEL - Fast Expression Language
    开源好用的表达式计算语言FEL,可惜了官网文档不在国内,我来个过来。Fel是轻量级的高效的表达式计算引擎Fel在源自于企业项目,设计目标是为了满足不断变化的功能需求和性能需求。Fel是开放的,引擎执行中的多个模块都可以扩展或替换。Fel的执行主要是通过函数实现,运算符(+、-等都是F......
  • [论文笔记] Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
    Abstract:Copilot及其他辅助编程的人工智能模型被广泛使用,这篇文章探索了Copilot在哪些任务上表现不佳,prompt在过程中的作用等几个问题。Introduction:Question1:Copilot在CS1programmingproblems上的表现如何?Question2:当Copilot最初失败后,prompt的修改如何......
  • CMU 15-445 Lecture #05: Storage Models & Compression笔记总结(上)
    这是cmu15-445第五节课程StorageModels&Compression的上半部分,主要包括StorageModels的内容,压缩部分下次再整理,学完这部分可以去做hw2的第一部分课程主页:CMU15-445/645::IntrotoDatabaseSystems(Fall2023)(有几张图片目前没上传,过两天补一下)DatabaseWorkloads......
  • 【论文速读】LLM-Augmented Retrieval:EnhancingRetrievalModels Through LanguageMod
    论文链接:https://arxiv.org/html/2404.05825v1文章标题:LLM-AugmentedRetrieval:EnhancingRetrievalModelsThroughLanguageModelsandDoc-LevelEmbedding这篇文章提出了一种与检索模型无关的框架框架,通过大型语言模型来丰富文档的嵌入,显著提高了现有检索模型的性......
  • Bridging Language and Items for Retrieval and Recommendation
    目录概BLaIR代码HouY.,LiJ.,HeZ.,YanA.,ChenX.,andMcAuleyJ.Bridginglanguageanditemsforretrievalandrecommendation.2024.概本文提出了一种利用对比损失训练的预训练模型,能够把握数据集中的交互信息.BLaIRBLaIR的思想很简单如上图所示,输入......
  • Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonom
    发表时间:2024文章要点:文章对LLM增强强化学习(LLM-enhancedRL)的现有文献进行了总结。在agent-environment交互的范式下,讨论LLM对RL算法的帮助。文章先给出LLM-enhancedRL的概念:themethodsthatutilizethemulti-modalinformationprocessing,generating,reasoning,etc.......
  • DashVector + ModelScope 玩转多模态检索
    本教程演示如何使用向量检索服务(DashVector),结合ModelScope上的中文CLIP多模态检索模型,构建实时的“文本搜图片”的多模态检索能力。作为示例,我们采用多模态牧歌数据集作为图片语料库,用户通过输入文本来跨模态检索最相似的图片。整体流程主要分为两个阶段:图片数据Embedding入库......