01 torch基础

学习参考：https://deeplizard.com/

预备知识

• GPU是实现并行计算的硬件，CUDA是一个为开发人员提供api的软件层。
• PyTorch里面内置CUDA，无需额外下载，所需要的是GPU
• 处理简单任务用CPU更合适，因为移入GPU成本很高

CUDA与PyTorch的结合使用

• PyTorch利用CUDA，即在GPU上执行计算，只需要将张量对象调用CUDA来指示PyTorch完成

import torch
t = torch.tensor([1, 2, 3])
print(t.device)  # 输出：cpu

　　默认情况下，以这种方式创建的tensor对象执行任何操作都在CPU上执行

• 张量移动到GPU上

> t = t.cuda()
> t
tensor([1, 2, 3], device='cuda:0')

• 在CPU和GPU上都可以运行，动态检测有无GPU

import torch

# 检查 CUDA 是否可用，如果可用就使用 GPU，否则使用 CPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 将张量放在合适的设备上
t = torch.tensor([1, 2, 3], device=device)

print(t)
print(f"Tensor is on: {t.device}")

这段代码"cuda" if torch.cuda.is_available() else "cpu"是py中三元组，等同于

# 检查 CUDA 是否可用
if torch.cuda.is_available():
    device_type = "cuda"  # 如果有 CUDA 可用，使用 GPU
else:
    device_type = "cpu"   # 否则，使用 CPU

# 根据 device_type 创建设备对象
device = torch.device(device_type)

# 打印设备类型
print(f"Using device: {device}")

张量（tensor）——深度学习的数据结构

什么是张量？

　　神经网络的输入、输出和转换都是用张量来表示。张量是深度学习的主要数据结构。

　　张量和n维数组是一个概念。

张量的属性

　　Rank,Axes,Shape-秩，轴和形状

　　张量的秩---张量中存在的维数。

　　秩和索引---张量的秩是几，则需要几个索引才能访问张量中的特定元素。

　　张量的轴---张量的特定维度，Axis。每个轴的长度告诉我们每个轴上有多少个索引可用。

　　pytorch中，张量大小和张量形状是一个概念

　　张量的形状，张量的重塑(reshape)。

　　例，确定张量t的形状？

t = torch.tensor([
    [
         [2,3,4,4] 
        ,[2,3,4,5]
    ]
])

　　第一维，第一个“[”，包含1个元素；第二维，包含2个元素；第三维：包含4个元素。

　　输出：torch.Size([1,2,4])