• 2024-08-29浮点数之间的比较,基本运算这些究竟是怎么实现的
    科学计算当中会用到不少浮点数的操作,这些浮点数可能是16位,32位,64位,80位甚至是128位。开源项目SoftFloat提供了一个高效的浮点运算实现,可以在没有硬件支持的情况下,高效模拟浮点数的各种操作。那么,浮点数之间的比较,基本运算这些究竟是怎么实现的呢,可以拿32位浮点数作为例子。这是3
  • 2024-08-28浮点数算法的内部实现
     科学计算当中会用到不少浮点数的操作,这些浮点数可能是16位,32位,64位,80位甚至是128位。开源项目SoftFloat提供了一个高效的浮点运算实现,可以在没有硬件支持的情况下,高效模拟浮点数的各种操作。 那么,浮点数之间的比较,基本运算这些究竟是怎么实现的呢,可以拿32位浮点数作为例子。
  • 2024-08-03LLM场景下常用浮点数介绍
    在计算机中,浮点数的表示基于IEEE754标准,这是最广泛使用的浮点数表示标准。对于一个具体的数值,如10.2345434,它会被分解为符号位、指数位和尾数位。这里以最常见的float32(单精度浮点数)为例来解释这个过程:符号位如果数值是正的,符号位为0;如果数值是负的,符号位为1。对于10.23454
  • 2024-08-03LLM场景下常用浮点数介绍
    在计算机中,浮点数的表示基于IEEE754标准,这是最广泛使用的浮点数表示标准。对于一个具体的数值,如10.2345434,它会被分解为符号位、指数位和尾数位。这里以最常见的float32(单精度浮点数)为例来解释这个过程:符号位如果数值是正的,符号位为0;如果数值是负的,符号位为1。对于10.23454
  • 2024-08-03LLM场景下常用浮点数介绍
    在计算机中,浮点数的表示基于IEEE754标准,这是最广泛使用的浮点数表示标准。对于一个具体的数值,如10.2345434,它会被分解为符号位、指数位和尾数位。这里以最常见的float32(单精度浮点数)为例来解释这个过程:符号位如果数值是正的,符号位为0;如果数值是负的,符号位为1。对于10.23454
  • 2024-08-03LLM场景下常用浮点数介绍
    在计算机中,浮点数的表示基于IEEE754标准,这是最广泛使用的浮点数表示标准。对于一个具体的数值,如10.2345434,它会被分解为符号位、指数位和尾数位。这里以最常见的float32(单精度浮点数)为例来解释这个过程:符号位如果数值是正的,符号位为0;如果数值是负的,符号位为1。对于10.23454
  • 2024-08-03LLM场景下常用浮点数介绍
    在计算机中,浮点数的表示基于IEEE754标准,这是最广泛使用的浮点数表示标准。对于一个具体的数值,如10.2345434,它会被分解为符号位、指数位和尾数位。这里以最常见的float32(单精度浮点数)为例来解释这个过程:符号位如果数值是正的,符号位为0;如果数值是负的,符号位为1。对于10.23454
  • 2024-07-16如何将文本转换为向量?(方法二)
    ​ 文本转换为向量有多种方式:方法一:通过模型服务灵积DashScope将文本转换为向量(推荐)方法二:通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量方法三:通过JinaEmbeddingsv2模型将文本转换为向量方法四:通过百川智能向量化模型将文本转换为向量 本文介绍方法二
  • 2024-04-11PIL图像转torch的tensor
    1、图片转TensorfromPILimportImageimportosimportnumpyasnpimporttorchfromtorchvisionimporttransformspic_location='dataset/1.png'img=Image.open(os.path.join(os.getcwd(),pic_location))#方法一img_convert_to_numpy=np.array(img)
  • 2024-04-10单精度浮点数误差与消除方法
    技术背景一个比较容易理解的概念,我们在做计算的过程中,很多时候都要做截断。不同精度的混合计算之间也会有截断,就比如一个float32单精度浮点数,符号占1位,指数占8位,尾数占23位。而一个float64双精度浮点数,符号占1位,指数占11位,尾数占52位。通常情况下,float32的有效数字约7位(按照\(2^{
  • 2024-04-03TensorIR_张量程序抽象案例研究
    !pipinstallapache-tvmimporttvmfromtvm.ir.moduleimportIRModulefromtvm.scriptimporttirasTimportnumpyasnp\(Y_{ij}=\sum_kA_{ik}B_{kj}\)\(C_{ij}=\mathbb{relu}(Y_{ij})=\mathbb{max}(Y_{ij},0)\)dtype="float32"a_
  • 2024-01-21程序员数学之-IEEE754规范
    1定点数与浮点数在现实生活中,不仅要有整数,还需要小数,计算机怎么表示小数呢?有两种方式:定点数与浮点数定点数(FixedPointNumber):顾名思义,小数点位置固定,例如常见的Qm.n表示法,共需1(符号位)+m(整数位)+n(小数位)bit位来表示数据,如Q7,Q15,Q31等数据类型。其优点是:计算速度快;缺点
  • 2023-12-25Numpy中数据类型转换的tips
    在逛StackOverflow时看见一个关于numpy的浮点数据转换的问题比较有趣,现当作tips记录下来。问题原地址我们知道,在numpy中,浮点数据同python本身一样,是用双精度(float64)来存储数据的,而Pytorch或者其他的一些框架中,为了节省运算量,其浮点是用单精度(float32)来存储数据的,因此需要用到数
  • 2023-11-13Python Object of type float32 is not JSON serializable
    前言使用json.dumps(result)对数据转JSON数据出现错误:TypeError:Objectoftypefloat32isnotJSONserializable数据中存在的float32数据是numpy格式的数据,Python内置的float类型可以写入JSON中,但是numpy的float32类型数据不能写入JSON,所以应将numpy.flo
  • 2023-10-24GO语言中的运算符
    算法术运算符运算符描述+相加-相减*相乘/相除%求余,仅限整数//arithmetic算术运算funcarithmetic(){ varafloat32=8 varbfloat32=3 varcfloat32=a+b vardfloat32=a-b varefloat32=a*b varffloat32=a/b
  • 2023-10-16GO语言中的结构体
    结构体创建、访问与修改定义结构体typeuserstruct{idintscorefloat32enrollmenttime.Timename,addrstring//多个字段类型相同时可以简写到一行里}声明和初始化结构体varuuser//声明,会用相应类型的默认值初始化struct里的每一个字段u=use
  • 2023-08-20无涯教程-TensorFlow - 感知器的隐藏层
    在本章中,无涯教程将专注于从x和f(x)的已知点集中学习的网络,由单个隐藏层将构建此简单网络。解释感知器隐藏层的代码如下所示-#Importingthenecessarymodulesimporttensorflowastfimportnumpyasnpimportmath,randomimportmatplotlib.pyplotaspltnp.ran
  • 2023-08-13机器学习编译(三):张量程序案例 TensorIR
    使用张量程序抽象的目的是为了表示循环和相关的硬件加速选择,如多线程、特殊硬件指令的使用和内存访问。1.一个例子使用张量程序抽象,我们可以在较高层的抽象制定一些与特定硬件无关的较通用的IR优化(计算优化)。比如,对于两个大小为128×128的矩阵A和B,我们进行如下两步的
  • 2023-07-24TVM编译深度学习模型
    QuickStartTutorialforCompilingDeepLearningModels本文将展示如何使用Relaypython前端构建神经网络,并使用TVM为NvidiaGPU创建实时运行库,需要有cuda版本的TVM和llvm。TVM支持的硬件后端图中展示了TVM目前支持的硬件后端将选择cuda和llvm后端,首先导入Relay和TVMimpo
  • 2023-07-05go语言结构体排序
    排序接口从接口定义来看,要实现某类型的排序要知道有多少个元素2个指定索引的元素怎么比较大小,索引i的元素小于索引j的值返回true,反之返回false如何交换指定索引上的元素那么自定义类型,要想排序,就要实现sort包中该接口。结构体排序 假设有N个学生,学生有姓名和年龄,按照年龄
  • 2023-04-15unordered_map和map的耗时
    在实际生产环境中,遇到使用map还是unordered_map的场景。一方面,有unordered_map需要自定义hash函数,导致构建时比较复杂。而map使用的是比较运算符来判断元素在map中的位置,std::vector有比较运算符,所以构建map比较简单。另一方面,unordered_map时hash表,查找时间复杂度为o(1),map
  • 2023-03-15go开发入门篇之go语言
    ​​ Go语言提供了数组类型的数据结构。数组是一组已编号的、长度固定的数据项序列,具有相同的唯一类型,可以是任意的原始类型,例如整型、字符串或自定义类型。相对于
  • 2022-12-07lesson13 张量、计算图、会话
    #lesson13 张量、计算图,会话#搭建第一个神经网络,总结搭建八股#基于Tensorflow的NN:用张量表示数据,用计算图搭建神经网络,#用会话执行计算图,优化线上的权重(参数),得到模型。
  • 2022-12-01centernet的数据增强操作--仿射变换
    https://blog.csdn.net/yang332233/article/details/110164808?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166988875516782428685782%2522%252C%2522scm%2
  • 2022-11-15go--类型转换
    1int与string备注:string不可直接转int32,先转为int,再转成int32packagemainimport("fmt""strconv")funcmain(){//int转stringvaraint