前言InstructBlip可以理解为Blip2的升级版，重点加强了图文对话的能力。模型结构和Blip2没差别，主要在数据集收集、数据集配比、指令微调等方面下文章。创新点数据集收集：将26个公开数据集转换为指令微调格式，并将它们归类到11个任务类别中。使用了其中13个数据集来进行指令