Pytorch的神经网络和张量计算

1. 输入数据和线性层的参数

首先，我们定义输入数据 x 和线性层的权重和偏置：

xxxxxxxxxx
# 输入数据张量
x = torch.tensor([[0.5, -1.5], [1.0, 1.0]], requires_grad=True)  # 2个样本，每个样本2个特征
​
# 定义一个简单的线性层
linear = nn.Linear(2, 1)  # 输入大小为2，输出大小为1

• 输入张量 x 有两个样本，每个样本有两个特征。

• linear 是一个线性层，其权重 W 和偏置 b 在初始化时是随机生成的，假设如下：

  • 权重：W = [[w1, w2]]
  • 偏置：b = [b]

2. 前向传播

前向传播过程计算模型的输出（预测值）：

xxxxxxxxxx
# 前向传播
y_pred = linear(x)  # 计算输出（预测值）

对于每个样本的计算公式为：

假设权重和偏置初始化为：

假设权重和偏置初始化为：

• 权重：W = [[0.3, -0.2]]（具体值取决于初始化）
• 偏置：b = [0.1]

计算过程

对于第一个样本 x[0] = [0.5, -1.5]：

对于第二个样本 x[1] = [1.0, 1.0]：

所以输出 y_pred 为：

3. 损失计算

接下来，计算损失：

xxxxxxxxxx
# 定义目标值张量和损失函数
y_true = torch.tensor([[1.0], [0.0]])
loss_fn = nn.MSELoss()
loss = loss_fn(y_pred, y_true)  # 计算损失

使用均方误差（MSE）损失函数，计算方法为：

在这个例子中，我们有两个样本，所以：

所以 loss 的值为 0.12125。

4. 反向传播

反向传播过程计算损失相对于模型参数的梯度：

xxxxxxxxxx
# 反向传播
loss.backward()  # 自动计算梯度

在这一步，PyTorch 自动计算 linear.weight 和 linear.bias 的梯度。以下是具体计算过程。

梯度计算

• 对于权重的梯度： 使用链式法则，可以将损失对权重的梯度表示为：

  $$\frac{\partial \text{loss}}{\partial W} = \frac{\partial \text{loss}}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial W}$$

首先计算损失对预测值的导数：

对于第一个样本：

对于第二个样本：

得到的结果为：

然后计算输出相对于权重的导数：

将这些值结合，得到权重的梯度：

将这些值结合，得到权重的梯度：

计算结果：

• 对于第一个样本：

  $$\frac{\partial \text{loss}}{\partial W}[0] = -0.45 \cdot [0.5, -1.5] = [-0.225, 0.675]$$

• 对于第二个样本：

  $$\frac{\partial \text{loss}}{\partial W}[1] = 0.2 \cdot [1.0, 1.0] = [0.2, 0.2]$$

最后，将它们相加（取平均）：

• 对于偏置的梯度： 偏置的梯度计算相对简单，因为偏置影响所有样本的输出：

  $$\frac{\partial y_{\text{pred}}}{\partial b} = [1, 1]$$

  所以偏置的梯度为：

  所以偏置的梯度为：

  $$\frac{\partial \text{loss}}{\partial b} = \frac{\partial \text{loss}}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial b} = [-0.45 + 0.2] = [-0.25]$$

5. 查看梯度

最后，输出计算的损失和梯度：

xxxxxxxxxx
print(f"Loss: {loss.item()}")
print(f"Gradients: {linear.weight.grad}, {linear.bias.grad}")

• linear.weight.grad 将输出 [-0.0125, 0.4375]，表示权重在这一轮的梯度。
• linear.bias.grad 将输出 [-0.25]，表示偏置的梯度。

6. 更新参数

在实际训练中，使用优化器（如 SGD 或 Adam）会根据计算得到的梯度更新参数：

xxxxxxxxxx
optimizer.step()  # 根据梯度更新权重和偏置

参数更新规则通常是：

通过这种方式，模型的权重和偏置会逐步优化，从而使损失减小，并提高模型的预测准确性。