Conceptual Caption

简称cc,minigpt4就使用这个数据集,一个大规模的图像文本配对数据集，包含超过30万个图像，每个图像都有5个人工描述。这个数据集的目的是为了促进计算机视觉和自然语言处理之间的研究交叉，可以用于图像检索、视觉问答等任务的训练和评估。

Conceptual Captions为从互联网获取的图文数据集。首先按格式、大小、内容和条件筛选图像和文本，根据文字内容能否较好地匹配图像内容过滤图文对，对文本中使用外部信息源的部分利用谷歌知识图谱进行转换处理，最后进行人工抽样检验和清理，获得最终数据集。Changpinyo等人（2021）基于Conceptual Captions将数据集的规模从330万增加到了1200万，提出了Conceptual12M。

下载地址： https://opendatalab.org.cn/Conceptual_Captions/download

SBU

一个用于图像标注的数据集，包含约1万张图片和每张图片5个描述。这个数据集中的描述是通过Amazon Mechanical Turk（一个众包平台）上的工人来收集的，可以用于图像标注、多模态数据集的训练等任务。

SBU(Ordonez等,2011)数据集: SBU是较为早期的大规模图像描述数据集。收集数据时,先使用对象、属性、动作、物品和场景查询词对图片分享网站Flickr进行查询,得到大量携带相关文本的照片,然后根据描述相关性和视觉描述性进行过滤,并保留包含至少两个拟定术语作为描述。

下载地址： https://opendatalab.org.cn/SBU_Captions_Dataset/download

LAION（Large-scale AI Open Network，“大规模人工智能开放网络”的简称）

项目链接：htttps://laion.ai/blog/laion-400-open-dataset/
论文标题：LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs
论文链接：https://arxiv.org/abs/2111.02114
一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个million.

多模态语言-视觉模型通常是数亿个图文对（image-text pair）上训练出来的，比如CLIP、DALL-E。对于绝大部分研究者而言，要收集这样一个级别的数据集还是有相当难度的。这也是LAION团队收集并开源LAION-400M的原因。而且LAION-400M是用CLIP进行过滤的，所以理论上这个数据集质量会高于CLIP团队所用的400million的数据。

LAION-400M不仅给了这么大数量的图文对，还用CLIP把数据都推理了一遍，并且保存了embedding和kNN索引，咱们可以对这个大数据集高效索引。

索引网站：https://rom1504.github.io/clip-retrieval/

LAION-400M的概述如上。4亿个图片-文本对，并且附带4亿个URL和4亿个图片嵌入表示。一些kNN索引来支持快速搜索，以及一个数据处理库。

LAION-400M在收集数据时，做了一些过滤设定：

将文本短于5个字母或者图像小于5kb的图文对丢弃；
去重操作；
用CLIP计算图文相似性，抛弃掉相似性低于0.3的图文对；（重要）
筛除一些不合法的图文对，比如adult/violence/insulting等等。（love and peace化）
PS: 我在做实验的过程中，发现第三点尤为重要，之前团队收集过400M的某专用领域数据，一直训不到好结果。但用similarity 0.3过滤以后，哪怕数据量只有之前的1/10，训练效果却能达到非常好。