首页 > 其他分享 >论文解读:《采用预训练蛋白嵌入贝叶斯神经网络,提高了药物蛋白的预测精度

论文解读:《采用预训练蛋白嵌入贝叶斯神经网络,提高了药物蛋白的预测精度

时间:2023-08-22 13:06:50浏览次数:36  
标签:训练 交互 模型 贝叶斯 神经网络 数据 蛋白 蛋白质


期刊:Bioinformatics

中科院分区:1Q

影像因子:6.937

一、摘要

动机:表征药物-蛋白质相互作用对于药物发现的高通量筛选至关重要。基于深度学习的方法引起了人们的关注,因为它们无需人工试错即可预测药物蛋白质相互作用。然而,由于数据标记需要大量资源,可用的蛋白质数据量相对较小,从而降低了模型性能。在这里,我们提出了两种方法来构建深度学习框架,该框架在带有小标记数据集的情况下表现出卓越的性能。

结果:首先,我们使用迁移学习来编码蛋白质序列和预训练模型,该模型以无监督的方式训练一般序列表示。其次,我们使用贝叶斯神经网络通过估计数据的不确定性来制作稳健的模型。我们得到的模型在预测分子和蛋白质之间的相互作用方面比以前的基线表现更好。我们还表明,贝叶斯推理的量化不确定性与置信度有关,可用于筛选 DPI 数据点。

二、数据集与方法

数据集:BindingDB 数据集 、人类数据集 和秀丽隐杆线虫数据集

BindingDB 数据集:包含位点-C50、EC50 和 Ki 正样本:39747、负样本:31218

Human and C. elegans:训练集包含 28,240 个正交互和 21,915 个负交互。验证集包括 2,831 个正交互和 2,776 个负交互。测试集包含 2,706 个正交互和 2,802 个负交互。分成4个子集。

平衡和不平衡数据集,其中正负样本的比例分别为 1:1 和 1:3。人类数据集包含 1,052 种独特分子和 852 种独特蛋白质之间的 3,369 次正相互作用; C. elegans 数据集包含 1,434 个独特分子和 2,504 个独特蛋白质之间的 4,000 个正相互作用。此外,我们使用 80%/10%/10% 的训练/验证/测试随机拆分和五重交叉验证策略。

方法-模型构建

输入数据是一对由蛋白质序列和药物 SMILES 字符串组成的字符串。输入数据通过嵌入层被编码为一对表示向量。然后将这些蛋白质和药物表示向量连接起来并通过完全连接的层,从而对相互作用进行二元预测。在每个训练周期中,将该预测与基本事实进行比较,并使用反向传播算法调整模型参数以减少两者之间的差异。为了实现 BNN,我们在除了预训练层、连接层和最终的全连接层之外的每一层都应用了 dropout 层。如图:

论文解读:《采用预训练蛋白嵌入贝叶斯神经网络,提高了药物蛋白的预测精度_数据集

论文解读:《采用预训练蛋白嵌入贝叶斯神经网络,提高了药物蛋白的预测精度_字符串_02编辑

方法-特征提取

无监督方式进行训练,使用注意力机制转换架构,建立了三个模型:Trans6、Trans12 和 Trans34

它们分别用 6、12 和 34 个变压器层进行了预训练。

药物特征提取:输入的SMILES字符串构建了一个相应的分子图,采用图交互网络模型。

具体步骤:使用 Pytorch 1.5.1 (Paszke et al. (2019)) 实现我们提出的模型。训练过程使用 Adam 优化器(Kingma 和 Ba (2014))在所有数据集上最多进行 200 个 epoch,学习率为 0.001,batch size 为 32。GraphNet 在分子特征提取器和 MLP 中的隐藏层维度在分类器中分别是 256 和 512。蛋白质和药物特征提取器的层数均设置为 3。L2 正则化系数为 0.001。这些超参数在广泛的范围内被搜索

三、结论

在这项研究中,我们提出了一种新的贝叶斯深度学习框架,该框架具有预训练的蛋白质序列模型来预测药物-蛋白质相互作用。对三个公共数据集的实验表明,我们提出的模型始终如一地输出提高的预测精度。我们对模型性能的估计表明,贝叶斯神经网络对加性噪声具有高度鲁棒性,这解释了所提出模型的卓越性能。此外,根据我们模型输出的预测不确定性,可以评估置信水平,然后可以将其用于筛选数据集以查找不可靠的数据点。


标签:训练,交互,模型,贝叶斯,神经网络,数据,蛋白,蛋白质
From: https://blog.51cto.com/u_16216184/7188080

相关文章

  • R语言神经网络模型预测多元时间序列数据可视化|附代码数据
    全文链接:http://tecdat.cn/?p=32198最近我们被客户要求撰写关于神经网络的研究报告,包括一些图形和统计输出。多元时间序列建模一直是吸引了来自经济,金融和交通等各个领域的研究人员的主题 ( 点击文末“阅读原文”获取完整代码数据******** )。多元时间序列预测的一个基本假设......
  • R语言BUGS/JAGS贝叶斯分析: 马尔科夫链蒙特卡洛方法(MCMC)采样|附代码数据
    全文链接:http://tecdat.cn/?p=17884最近我们被客户要求撰写关于BUGS/JAGS贝叶斯分析的研究报告,包括一些图形和统计输出。在许多情况下,我们没有足够的计算能力评估空间中所有n维像素的后验概率 。在这些情况下,我们倾向于利用称为Markov-ChainMonteCarlo算法的程序 。此方法......
  • 卷积神经网络
    卷积神经网络整体架构卷积层涉及参数激活函数每个区域提取的特征要尽可能的多?卷积大量提取特征,让下游有的选择,特征的多样性,第一层有丰富信息,第二层才有得做256512每个区域提取的特征要尽可能的多每个区域都有256个特征卷积核的层数和输入是一样的?刚刚输入的彩色图......
  • 头疼!卷积神经网络是什么?CNN结构、训练与优化一文全解
    本文全面探讨了卷积神经网络CNN,深入分析了背景和重要性、定义与层次介绍、训练与优化,详细分析了其卷积层、激活函数、池化层、归一化层,最后列出其训练与优化的多项关键技术:训练集准备与增强、损失函数、优化器、学习率调整、正则化技巧与模型评估调优。旨在为人工智能学者使用卷......
  • 【深度学习 | CNN】“深入解析卷积神经网络与反卷积:从生活案例到原理的全面指南” (从
    ......
  • 无涯教程-TensorFlow - 递归神经网络
    递归神经网络是一种面向深度学习的算法,它遵循顺序方法。在神经网络中,无涯教程始终假定每个输入和输出都独立于所有其他层。这些类型的神经网络称为递归,因为它们以顺序的方式执行数学计算。表示递归神经网络的示意方法如下所述-实现递归神经网络在本节中,将学习如何使用TensorFl......
  • 无涯教程-TensorFlow - 卷积神经网络
    了解机器学习概念之后,无涯教程现在可以将重点转移到深度学习概念上,深度学习是机器学习的一个分支,被认为是近几十年来研究人员迈出的关键一步。深度学习实现的示例包括图像识别和语音识别等应用。以下是深度神经网络的两种重要类型-卷积神经网络递归神经网络在本章中,将重点介......
  • OpenCV3.3深度神经网络DNN模块 实例2:GoogleNet-Caffe模型实现图像分类
    1#include<opencv2/opencv.hpp>2#include<opencv2/dnn.hpp>3#include<iostream>4//使用GooglenetCaffe模型实现图像分类5usingnamespacecv;6usingnamespacecv::dnn;7usingnamespacestd;89Stringmodel_bin_file="D:/open......
  • OpenCV3.3深度神经网络DNN模块 实例3:SSD模型实现对象检测
    1#include<opencv2/opencv.hpp>2#include<opencv2/dnn.hpp>3#include<iostream>45usingnamespacecv;6usingnamespacecv::dnn;7usingnamespacestd;89constsize_twidth=300;//模型尺寸为300*30010constsize......
  • OpenCV3.3深度神经网络DNN模块 实例4:SSD-MobileNet模型实时对象检测
    1#include<opencv2/opencv.hpp>2#include<opencv2/dnn.hpp>3#include<iostream>45usingnamespacecv;6usingnamespacecv::dnn;7usingnamespacestd;89constsize_twidth=300;10constsize_theight=300;11cons......