PretrainingLanguageModelswithText-AttributedHeterogeneousGraphs论文阅读笔记Abstract现存的问题：​ 目前语言模型（LM）的预训练任务主要集中在单独学习每个实体的文本信息，而忽略了捕捉TAHGs中实体间拓扑连接的关键环节。提出方法：​ 本文提出了一种新的LM预训练框架