python和pytorch中的类型对比：
我们可以发现pytorch中每中类型后面都有一个Tensor。

但是很遗憾PyTorch没有String类型。
我们在做NLP的时候会遇到String类型处理的问题，我们会将string转化问数值：

• one-hot

[0,1,0,0,....]

• Embedding

word2vec
glove

1 Data type

我们需要注意的是CPU版和GPU版的不一样

2 Type check

这里我们使用randn生成一个符合正态分布的tensor

a=torch.randn(2,3)
a

tensor([[ 0.9793,  1.1300, -0.6563],
        [-0.8705, -0.9400,  1.3000]])

使用a.type，type(a),isinstance(a,torch.FloatTensor)来检验一下他的类型

a.type

#<function Tensor.type>

type(a)

#torch.Tensor

isinstance(a,torch.FloatTensor)

# True

这里我们需要注意一下CUP中的tensor和GPU中的不一样。

isinstance(a,torch.cuda.FloatTensor)
# 这里返回 False

a=a.cuda()
#转化成GPU中的tensor

isinstance(a,torch.cuda.FloatTensor)
# 返回True

3 Dim

3.1 Dim 0

Dim为0的tensor是一个标量，也就是一个具体的数值

torch.tensor(1.)
# tensor(1.)

torch.tensor(1.3)
# tensor(1.3000)

a=torch.tensor(2.2)
a.shape
# torch.Size([])

len(a.shape)
# 0

a.size()
# torch.Size([])

3.2 Dim 1

Dim 1的时候相对于一个列表
可以使用列表的形式定义

torch.tensor([1.1])
# tensor([1.1000])

torch.tensor([1.1,2.2])
# tensor([1.1000, 2.2000])

也可以使用torch.Tensor(1)或者torch.FloatTensor(2)定义

torch.Tensor(1)
# tensor([3.5873e-43])

torch.FloatTensor(1)
# tensor([6.0757e+19])

torch.FloatTensor(2)
# tensor([6.0757e+19, 4.5916e-41])

也可以通过numpy类型变成tensor

torch.from_numpy(data)
data是np列表

data=np.ones(2)
data
# array([1., 1.])

torch.from_numpy(data)
# tensor([1., 1.], dtype=torch.float64)

或者我们也可以使用

torch.ones([2])
torch.zeros([2,2])

来生成一个全0或者全1的tensor

a=torch.ones([2])
a
#tensor([1., 1.])

a.shape
# torch.Size([2])

b=torch.zeros([2,2])
b
#tensor([[0., 0.],
#        [0., 0.]])

b.shape
#torch.Size([2, 2])

这里我们要区分一下dim和size/shape，比如一个[2,2]的一个二维矩阵，2是它的dim,[2,2]是它的size/shape。

3.3 Dim 2

可以通过

torch.randn(2,3)

随机生成一个二维的2行，3列的符合正太分布的数组

a=torch.randn(2,3)
a
# tensor([[ 1.0871,  0.6401,  1.1010],
#        [ 0.1840,  1.6281, -0.3268]])

a.shape
#torch.Size([2, 3])

a.size(0),a.size(1),a.shape[0],a.shape[1]
#(2, 3, 2, 3)

也可以通过

torch.ones(2,3)
torch.zeros(2,3)

生成全0或者全1的数组

这里2维的dim重要用在Linear Input batch。例如一个[batch,784]

3.4 Dim 3

例如torch.randn(2,2,3),是一个三维的tensor，这个代表的是有2个(2,3)的二维矩阵

b=torch.randn(2,2,3)
b
#tensor([[[ 0.6101,  0.7085, -0.5774],
#         [-0.1907,  1.3382,  0.0592]],
#
#        [[-0.4956,  0.7636,  0.1150],
#         [-0.0104,  0.3667, -1.4105]]])

b[0]
#tensor([[ 0.6101,  0.7085, -0.5774],
#        [-0.1907,  1.3382,  0.0592]])

b.shape
# torch.Size([2, 2, 3])

然后我们查看第一个(2,3)的二维矩阵b[0]

这个三维的数组主要用于RNN Input Batch,例如[10,20,100]，这里代表的数10个句子，每个句子中都有20个单词，每个单词都用一个100维的列表表示

3.5 Dim 4

a=torch.randn(2,3,28,28)
a

a.shape
#torch.Size([2, 3, 28, 28])

这里主要用于CNN的输入
[b,c,h,w]，c是RGB，h是图片的高，w图片的宽

a.numel()
指的是a里面的元素的个数
对于一个shape=[2,3,28,28]的tensor，他的a.numel()=2328*28=4704