OmniParser是微软最近发布的一个解析界面的库，主要将成果解析后转送给大模型体系进行更多的能力拓展。等于是将传统的UI界面，转换成了LLM大模型语言等Agent系统能直接理解和处理的输入源了。非常有意思。用官方的话来说：OmniParser是一种将用户界面截图解析为结构化、易于理解

OmniParser是微软开发的一个用于解析用户界面（UI）截图的工具，旨在将这些截图转换为结构化数据。这个工具的主要目标是提升大型语言模型（如GPT-4V）与图形用户界面的互动能力。它能够识别截图中可交互的元素（如图标和按钮），并理解这些元素的语义，以便生成相应的操作指令。OmniParser由两个