CogAgent：利用VLM操作GUI。主要内容提出了一个18B的VLM模型CogAgent（CogVLM的新版本），旨在提高对于GUI的理解、导航和交互能力。利用高分辨率和低分辨率编码器适应不同分辨率的输入，在9个VQAbenchmarks上取得了sota。同时，CogAgent利用截屏输入，在PC和安卓GUI导航任务上比其他基于

  开发者朋友们大家好： 这里是「RTE开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE（Real-TimeEngagement）领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑

在现代数字世界中，图形用户界面（GUI）是人机交互的核心。然而，尽管大型语言模型（LLM）如ChatGPT在处理文本任务上表现出色，但在理解和操作GUI方面仍面临挑战，因此最近一年来，在学界和大模型社区中，越来越多的研究者和开发者们开始关注VLM-basedGUIAgent。2023年12月，智谱发布了CogAgent，第一个