首页 > 其他分享 >神经网络架构搜索 材料学习记录

神经网络架构搜索 材料学习记录

时间:2022-12-23 17:32:20浏览次数:64  
标签:架构 模型 任务 NAS 神经网络 搜索

神经网络架构搜索

定义内涵

神经网络架构搜索是为给定数据集自动找到一个或多个架构的任务,这些架构将为给定
的数据集生成具有良好结果的模型,其本质是在高维空间的最优参数搜索问题。

技术背景

深度学习模型的使用越来越大众化,在很多行业中都是不可或缺的。然而,高效神经网

络的实现通常需要架构的知识和大量的时间,在不停的迭代过程中使用知识探索合理的解决

方案。神经网络的形式和结构会根据具体需要而有所不同,所以针对不同的任务和不同需求

需要设定特定的结构。但是以试错的方式设计这些网络是一项耗时且乏味的任务,不仅需要

架构技能还需要专业领域的知识。一般的情况下,专家们会利用他们过去的经验或技术知识

来创建和设计神经网络。

在大部分行业,都会关注模型效率(这里的效率不仅指执行效率,还包括了开发效率)。

为了使神经网络泛化而不过度拟合训练数据集,找到最优的结构是很重要的。但是在生产力

比质量更重要的时代,一些行业忽视了他们模型的效率,并且只满足于实现了他们的目标的

第一个模型(能用就行)而没有​​进一步​

优化模型的性能和效率。寻找合适的网络架构不仅需要大量的时间成本和专业的架构设计技能,而且容易陷入次优解。由于缺乏时间或架构专业

知识,许多行业不具备通过“足够”的模型充分利用其数据的潜力。

神经网络架构搜索(Neural Architecture Search,NAS)[19] 是一种基于优化的算法,旨

在为特定数据集上的特定任务寻找神经网络的最佳结构,解决预定义的架构不完善的问题。

NAS 将神经网络架构的设计从繁杂的手动方式转变为自动化

方式,NAS 在图像分类、目标检测、语义分割等任务上的效果能够达到甚至优于手动设计的网络架构。

NAS 在定义的指数级搜索空间中实施特定的搜索策略,寻找在不可见数据上实现高预测

性能的神经网络架构。用于探索网络结构空间的搜索策略包括随机搜索、贝叶斯

优化、进化方法、强化学习和基于梯度的搜索方法

神经网络架构搜索 材料学习记录_搜索

NAS 通过自动化探索多种潜在的网络架构,为 MLOps 的模型选择提供了更多的灵活性

和更高效的解决方案

思路方案

NNI 中实现了 ENAS、DARTS、P-DARTS 算法,并提供 one-shot 算法的接口。另外,还

支持网络模态(Network Morphism)这样的经典搜索方法 [20]。

NAS 方法探索了许多具有可变复杂性的潜在解决方案,因此在计算上非常昂贵。他们的

搜索空间越大,需要测试、训练、评估的架构就越多。这些方法需要大量资源和时间才能找

到足够好的模型,因此在创建神经网络架构搜索任务时,SecXOps 将更倾向于将该项目所在

的 Pod 分配到空闲计算资源更多的 Node 节点上在训练过程中,程序会实时输出模型结果,SecXOps 同样为此类任务建立起了端口映射,

允许用户能够访问并查看自己的任务完成进度,如下图所示

神经网络架构搜索 材料学习记录_神经网络_02

同时,点击对应的任务支持用户查看搜索到的神经网络架构

参考资料

​绿盟SecXOps安全智能分析技术白皮书​

友情链接

​湖南省网络安全和信息化条例 2021​

标签:架构,模型,任务,NAS,神经网络,搜索
From: https://blog.51cto.com/baidu666/5965954

相关文章

  • oracle根据某个值搜索所有的表及列名
    1、创建createorreplaceprocedureA_YANDANCHANis--名称A_YANDANCHAN可以改掉v_sqlVARCHAR2(4000);v_tb_columnVARCHAR2(4000);v_cntNUMBER(18,0);......
  • 消除视觉Transformer与卷积神经网络在小数据集上的差距
    摘要:本文通过多种操作构建混合模型,增强视觉Transformer捕捉空间相关性的能力和其进行通道多样性表征的能力,弥补了Transformer在小数据集上从头训练的精度与传统的卷积神经......
  • 消除视觉Transformer与卷积神经网络在小数据集上的差距
    摘要:本文通过多种操作构建混合模型,增强视觉Transformer捕捉空间相关性的能力和其进行通道多样性表征的能力,弥补了Transformer在小数据集上从头训练的精度与传统的卷积神经网......
  • 基于SSM架构的医院管理系统项目简介
    想要获取本项目资料的童鞋,请仔细看本文结尾处,加“Java架构栈”---》回复“医院管理系统”获取!!!1.项目介绍又是一年毕业季,毕设项目一直都是困扰即将毕业的大学生的难题。......
  • laas、paas、saas、单体应用、微服务、分布式、soa架构、微服务实战、rpc、CAP 定理、
    一IaaS基础设施服务IaaS:Infrastructure-as-a-Service(基础设施即服务)第一层叫做IaaS,有时候也叫做Hardware-as-a-Service,几年前如果你想在办公室或者公司的网站上运行一些......
  • Docker 架构演进之路
    转载:https://developer.aliyun.com/article/673009前言Docker已经推出了5年,在这5年中它极大的改变了互联网产品的架构,推进了新的产品开发、测试和运维方法。但是它自身也在......
  • ArcObejcts SDK开发 020 开发框架搭建-架构设计
    1、技术选型ArcObjectsSDK10.8(ArcGIS10.8),.NetFrameWork4.8,VS2022,WPF(WinForm)、DEV。用的时候,打包的ArcObjectsSDKdll文件,可以使用低版本的,例如10.2,这样可以保障Arc......
  • Dubbo架构设计与源码解析(三)责任链模式
    作者:周可强一、责任链模式简介1、责任链模式定义责任链(ChainofResponsibility)模式的定义:为了避免请求发送者与多个请求处理者耦合在一起,于是将所有请求的处理者通过前......
  • 每日算法之二叉搜索树的第k个节点
    JZ54二叉搜索树的第k个节点题目给定一棵结点数为n二叉搜索树,请找出其中的第k小的TreeNode结点值。返回第k小的节点值即可不能查找的情况,如二叉树为空,则返回-1,或者k......
  • Docker架构
    一三个基本概念镜像image:dooker镜像相当于一个root文件系统容器container:镜像和容器的关系相当于类和对象的关系。镜像是静态的定义,容器是镜像运行时的实体。容器......