首页 > 其他分享 >归一化和标准化

归一化和标准化

时间:2023-08-17 22:48:10浏览次数:34  
标签:scaler 标准化 minmax train 归一化 np data

解释概念

https://www.jianshu.com/p/95a8f035c86c

灵魂提问2个问题:

(1)是对每一个样本进行归一化(按行归一化)还是对每一个维度进行归一化(按列归一化)?
(2)是将训练集和测试集分别归一化还是放在一起进行归一化?

答案
(1) 按列
(2) 一般分来归一化

代码

手写

train_x为2维数据,一维数据直接调用normalization函数即可。

# 按列进行归一化
def normalization(data):
    _range = np.max(abs(data))
    return data / _range

train_x=np.load("train_x.npy")
normalized_data = np.apply_along_axis(normalization, axis=0, arr=train_x)

sklearn库

from sklearn.preprocessing import MinMaxScaler, StandardScaler

train_x=np.load("train_x.npy")

# 创建最小-最大缩放器
minmax_scaler = MinMaxScaler()

# 创建标准化器
standard_scaler = StandardScaler()

# 对 train_x 进行最小-最大归一化
train_x_minmax = minmax_scaler.fit_transform(train_x)

# 对 train_x 进行标准化
train_x_standardized = standard_scaler.fit_transform(train_x)

标签:scaler,标准化,minmax,train,归一化,np,data
From: https://www.cnblogs.com/kingwz/p/17639077.html

相关文章

  • 为什么要推进“电子凭证会计数据标准化”?
    电子凭证会计数据标准化是财务管理领域的一场革命,它将对国家、企业和社会的各个方面产生深远的影响。随着数字化和信息化技术的不断发展,电子凭证会计数据标准化已经成为财务管理工作的必要趋势。作为利国利民的重要事务,电子凭证会计数据标准化对国家、企业和社会的意义表现在以下六......
  • sklearn中的数据预处理----good!! 标准化 归一化 在何时使用
    RESCALINGattributedatatovaluestoscaletherangein[0,1]or[−1,1]isusefulfortheoptimizationalgorithms,suchasgradientdescent,thatareusedwithinmachinelearningalgorithmsthatweightinputs(e.g.regressionandneuralnetworks).Resc......
  • 政务通信标准化!统一通信-睿鸿COMM1.0正式上线
    统一通信-睿鸿COMM1.0近日正式发布上线,兼具安全性与标准化,它将政府级客户所有通信需求化繁为简,通过深度整合、灵活通信,实现更高效的政务服务运作。政务通信标准化!统一通信-睿鸿COMM1.0正式上线统一通信-睿鸿COMM1.0简介统一通信-睿鸿COMM1.0是将底层的通信资源、应用场景通用能力进......
  • PPT| 基于标准化规范化IT运维管理整体解决方案P48
    PPT共48页,由于篇幅有限,以下为部分资料,需要PPT资料的朋友可以关注我,私信我。......
  • 电子病历归档管理系统标准化实施
     总体设计   01404......
  • 为什么直流分量导致归一化频谱变小?
    直接举一个例子。假设有一个包含N个样本的信号,表示\(x[n]\),其中\(n=0,1,2,...,N-1\)。信号的DFT表示\(X[k]\),其中\(k=0,1,2,...,N-1\),对应信号在不同频率上的分量,DFT的计算公式如下:\[X[k]=\sum\nolimits_{n=0}^Nx[n]\cdote^{-j(2\pi/N)\cdotk\cdotn}......
  • python批量计算多站点多年标准化降水指数SPI
    前面提过如何计算单站点多年的标准化降水指数SPI,但是在现实中不仅只计算一个站点的标准化降水指数,有时要计算多个站点的。原始数据是11个站点1961年至2022年每个月的降水值: 编程思路是:1、先需要进行站点分类:   此处的难点在于需要写个for循环,根据站点名称遍历数据 ......
  • python 标准化欧式距离找相似样本
    Python标准化欧式距离找相似样本欧式距离是机器学习和数据挖掘中常用的距离度量方法之一。它用于衡量两个样本之间的相似性或差异性。然而,当我们处理的数据具有不同的尺度和单位时,欧式距离的计算结果可能不准确。为了解决这个问题,我们可以使用标准化欧式距离来处理数据。什么是欧......
  • 一文详解常见标准化组织
    从事软件研发工作多年,在工作中有时会查阅一些通信相关的国际标准。然而,对于制定这些标准的组织,一直缺乏一个系统的了解。本文将对几个常见的标准化组织进行介绍,其中包括ITU、3GPP、GSMA和CCSA,了解它们的背景、成立目的和主要任务。ITU国际电信联盟3GPP第三代合作伙伴计划G......
  • 为什么要归一化?
    为什么要归一化?BN是BatchNormalization的缩写,该方法的代表性论文是“BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift”,论文中关于BN的解释是训练深度神经网络非常复杂,因为在训练过程中,随着先前各层的参数发生变化,各层输入的......