首页 > 其他分享 >Theano 中文文档 0.9 - 3. Theano一览

Theano 中文文档 0.9 - 3. Theano一览

时间:2023-05-02 15:04:05浏览次数:43  
标签:0.9 Python 文档 GPU theano Theano 优化 表达式


3. Theano一览

译者:Python 文档协作翻译小组,原文:Theano at a Glance

本文以 CC BY-NC-SA 4.0 协议发布,转载请保留作者署名和文章出处。

Python 文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。

Theano是一个Python库,它允许你定义、优化和求值数学表达式,特别是具有多维数组(numpy.ndarray)的数学表达式。对于涉及大量数据的问题,使用Theano可以获得与手工编写的C实现不相上下的速度。它还可以通过利用最近的GPU超过CPU上的C多个数量级。

Theano将计算机代数系统(CAS)的各个方面与优化编译器的各个方面相结合。它还可以为许多数学运算生成定制的C代码。CAS与优化编译的这种组合对于复杂数学表达式重复求值并且求值速度很关键的任务特别有用。对于许多不同的表达式每个求值一次的情况,Theano可以最小化编译/分析的开销,但仍然提供诸如自动微分等符号特征。

Theano的编译器对这些符号表达式应用许多不同复杂度的优化。这些优化包括,但不限于:

  • 使用GPU进行计算
  • 恒定折叠
  • 合并相似的子图,避免冗余计算
  • 算术简化(例如x*y/x -> y, --x -> x
  • 在各种上下文中插入高效的BLAS操作(例如GEMM
  • 使用内存别名来避免计算
  • 使用就地操作,无论它涉不涉及到别名
  • 元素子表达式的循环融合
  • 数值稳定性的改进(例如和)
  • 完整列表请参阅优化

Theano是在LISA实验室编写的,以支持高效机器学习算法的快速开发。Theano以希腊数学家命名,她可能是毕达哥拉斯的妻子。Theano根据BSD许可证(link)发布。

先睹为快

这里是如何使用Theano的示例。它没有展示Theano的许多功能,但它具体说明了Theano是什么。

import theano
from theano import tensor

# declare two symbolic floating-point scalars
a = tensor.dscalar()
b = tensor.dscalar()

# create a simple expression
c = a + b

# convert the expression into a callable object that takes (a,b)
# values as input and computes a value for c
f = theano.function([a,b], c)

# bind 1.5 to 'a', 2.5 to 'b', and evaluate 'c'
assert 4.0 == f(1.5, 2.5)

Theano不是一个正常意义上的编程语言,因为你在Python中编写一个程序来为Theano构建表达式。在某种程度上它仍然像一个编程语言,因为你必须

  • 声明变量(a,b)并给出它们的类型
  • 构建表达式来表示如何将这些变量放在一起
  • 将表达式图编译为函数,以便将它们用于计算。

可以把theano.function看作一个编译器的接口,它从纯粹的符号图中构建一个可调用的对象。Theano的最重要的特性之一是theano.function可以优化图,甚至将其中的一些或全部编译为本机机器指令。

它做了什么,但是其它库没有做?

Theano是一个Python库和优化编译器,用于处理和求值表达式,特别是矩阵表达式。矩阵的操作通常使用numpy包来完成,那么什么是Theano做的而Python和numpy没有做的呢?

  • 执行速度优化:Theano可以使用g++nvcc将表达式图的部分编译成CPU或GPU指令,它们运行起来比纯Python快得多。
  • 符号微分:Theano可以自动构建用于计算梯度的符号图。
  • 稳定性优化:Theano可以识别[某些]数值不稳定的表达式,并使用更稳定的算法计算它们。

最接近Theano的Python包是sympy。Theano比Sympy更注重张量表达,并有更多的机制进行编译。Sympy具有更复杂的代数规则,可以处理更多种类的数学运算(如序列,极限和积分)。

如果将numpyMATLABsympyMathematica进行比较,Theano是一种试图结合两个世界的最好的部分的东西。

入门

安装Theano

在你的系统上下载并安装Theano的说明。

教程

开始使用Theano的基本功能。如果你是新手,去这里!

API文档

Theano提供的细节。建议先通读教程。

可在此处找到在线文档的PDF版本。

Theano的愿景

这是我们对Theano的愿景。这是给人们对Theano未来的一个期望,但我们不能承诺实现所有的。这也应该能帮助你理解Theano与其他计算工具的关系。

  • 支持张量和稀疏运算
  • 支持线性代数运算
  • 图变换
  • 微分/高阶微分
  • ‘R’和’L’微分运算符
  • 速度/内存优化
  • 数值稳定性优化
  • 可以使用多种编译语言、指令集:C/C++、CUDA、OpenCL、PTX、CAL、AVX …
  • 延迟求值
  • 循环
  • 并行执行(SIMD、多核,集群上的多节点,分布式多节点)
  • 支持NumPy所有功能和SciPy的基本功能
  • 在Theano中轻松封装库函数

注意:短期没有计划支持多节点计算。

Theano愿景的状态

以下是截至2013年12月3日(Theano版本0.6之后)的愿景状态:

  • 我们支持使用numpy.ndarray对象的张量,我们支持对它们的许多操作。
  • 我们通过使用scipy.{csc,csr,bsr} _matrix对象支持稀疏类型,并支持对它们的一些操作。
  • 我们已经开始实现/封装更高级的线性代数运算。
  • 我们有许多图变换,涵盖上面列出的4个类别。
  • 我们可以通过更好的存储优化和指令选择来改进图转换。
  • 类似于在优化阶段的自动调整,但这不适用于只有1个的操作。
  • 使用示例:根据输入大小确定是否应将计算移动到GPU。
  • 可能实现:允许fgraph中的Theano变量拥有超过1个所有者。
  • 我们支持Python 2和Python 3。
  • 我们对float32类型的张量有一个CUDA后端。
  • 已经开始尝试通用GPU ndarray(GPU张量)(在libgpuarray项目中启动)
  • 将GPU后端移到Theano外部。
  • 将在Windows上为GPU提供更好的支持,并在CPU上支持OpenCL后端。
  • 循环可以工作,但并不是所有的相关优化都已完成。
  • cvm链接器允许延迟求值。它是当前的默认链接器。
  • 如何让DebugMode检查?目前,DebugMode非延迟地检查计算。
  • CPU上的SIMD并行性来自编译器。
  • 多核并行支持有限。如果外部BLAS实现支持它,许多点通过gemm,gemv和ger并行化。此外,支持逐个元素的操作。请参阅Multi cores support in Theano。
  • 无多节点支持。
  • 实现大多数但不是所有NumPy的函数/别名。* https://github.com/Theano/Theano/issues/1080
  • 将现有的Python函数封装的更简单并写成文档。
  • 我们知道如何从对象类型(张量、稀疏矩阵、dtype、broadcast 标志)分离共享变量内存存储位置,但我们需要这样做。

联系我们

关于Theano的讨论发生在theano-devtheano-users邮件列表中。对Theano的开发感兴趣的人应该检查前者,而后者保留给涉及最终用户的问题。

问题、评论、赞美、批评和错误报告应提交到这些邮件列表。

我们欢迎各种贡献。如果你对如何扩展Theano有任何问题,请随时问问theano-dev邮件列表。


标签:0.9,Python,文档,GPU,theano,Theano,优化,表达式
From: https://blog.51cto.com/wizardforcel/6239957

相关文章

  • Theano 中文文档 0.9 - 7.2.5 循环
    7.2.5循环译者:Python文档协作翻译小组,原文:Loop。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。Scan重复的一般形式,可用于循环。Reduction和map(在前面的维度上循环)是sc......
  • Theano 中文文档 0.9 - 7.2.4 条件
    7.2.4条件译者:Python文档协作翻译小组,原文:Conditions。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。IfElse和Switch这两个op在符号变量上构建一个条件。IfElse接收......
  • Theano 中文文档 0.9 - 7.2.3 Theano中的导数
    7.2.3Theano中的导数译者:Python文档协作翻译小组,原文:DerivativesinTheano。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。计算梯度现在让我们使用Theano来完成一个......
  • Theano 中文文档 0.9 - 7. 教程
    7.教程译者:Python文档协作翻译小组,原文:Tutorial。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。让我们开始一个交互式会话(例如使用python或ipython)并导入Theano。>>>......
  • Theano 中文文档 0.9 - 7.2.1 起手式 —— 代数
    7.2.1起手式——代数译者:Python文档协作翻译小组,原文:BabySteps-Algebra。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。两个标量相加为了让我们开始使用Theano并......
  • Theano 中文文档 0.9 - 6. 更新Theano
    6.更新Theano译者:Python文档协作翻译小组,原文:UpdatingTheano。本文以CCBY-NC-SA4.0协议发布,转载请保留作者署名和文章出处。Python文档协作翻译小组人手紧缺,有兴趣的朋友可以加入我们,完全公益性质。交流群:467338606。根据你如何安装Theano,选择下面三个部分中的一个。你应该......
  • Visual AssistX Version 10.9.2488 Cracked
    任何问题请反馈至邮箱:[email protected](随缘查看邮件)Anyporbs->[email protected]再次声明:本破解补丁仅供交流学习和研究使用,不可用于商业。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。Notice:thispatcherisforcommunication,lear......
  • Visual AssistX Version 10.9.2488 Cracked
    任何问题请反馈至邮箱:[email protected](随缘查看邮件)Anyporbs->[email protected]再次声明:本破解补丁仅供交流学习和研究使用,不可用于商业。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。Notice:thispatcherisforcommunication,lear......
  • java基于springboot的毕业生信息招聘平台、高校学生招聘管理系统、招聘管理系统,附源码
    1、项目介绍毕业生信息招聘平台的功能如下:管理管理员;首页、个人中心、企业管理、空中宣讲会管理、招聘岗位管理、毕业生管理、个人简历管理、求职信息管理、信息咨询管理、岗位应聘管理、线上面试管理、面试回复管理、试卷管理、试题管理、管理员管理、论坛管理、系统管理、考试......
  • java基于ssm的超市管理系统、超市销售管理系统,附源码+数据库+文档,适合课设设计、毕业
    1、项目介绍java基于ssm的超市管理系统、超市销售管理系统。本系统的设计是两种用户,一种是普通用户,一种是管理员用户。权限都不一样。主要功能有:添加商品、库存查询、订单管理、商品删除管理、退货管理、销售统计、供应商管理、用户管理、角色管理。项目获取,看这里2、技术框......