别再死记GAN公式了！用PyTorch手把手带你画一遍损失函数loss的曲线图

张

张建站

2026/4/20 20:57:21

10分钟阅读

用PyTorch实战可视化GAN训练从损失曲线看懂生成对抗博弈在咖啡厅里盯着GAN的数学公式发呆时我突然意识到——这些符号就像两个看不见的拳击手在黑暗中对打。直到用PyTorch画出损失曲线的那一刻才真正看清了生成器和判别器之间精彩的攻防战。本文将带你用代码重现这个视觉化过程把抽象的min-max博弈变成可观察的动态图景。1. 搭建实验环境MNIST上的微型GAN我们先构建一个足够简单但能说明问题的实验环境。选择MNIST数据集不仅因为其适中的复杂度更因其28x28的灰度图像能快速验证生成效果。import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pyplot as plt # 超参数设置 latent_dim 100 img_shape (1, 28, 28) batch_size 64 lr 0.0002 epochs 100 # 数据管道 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize([0.5], [0.5]) ]) dataloader DataLoader( datasets.MNIST(./data, downloadTrue, transformtransform), batch_sizebatch_size, shuffleTrue)生成器架构采用全连接层配合LeakyReLU激活最后用Tanh将输出压缩到[-1,1]区间class Generator(nn.Module): def __init__(self): super().__init__() self.model nn.Sequential( nn.Linear(latent_dim, 256), nn.LeakyReLU(0.2), nn.Linear(256, 512), nn.LeakyReLU(0.2), nn.Linear(512, 1024), nn.LeakyReLU(0.2), nn.Linear(1024, 28*28), nn.Tanh() ) def forward(self, z): img self.model(z) return img.view(img.size(0), *img_shape)判别器设计需要注意最后一层用Sigmoid输出0-1的概率值class Discriminator(nn.Module): def __init__(self): super().__init__() self.model nn.Sequential( nn.Linear(28*28, 512), nn.LeakyReLU(0.2), nn.Linear(512, 256), nn.LeakyReLU(0.2), nn.Linear(256, 1), nn.Sigmoid() ) def forward(self, img): flattened img.view(img.size(0), -1) validity self.model(flattened) return validity提示使用LeakyReLU代替ReLU可以缓解梯度消失问题特别是在判别器中保留了对负值的微弱梯度2. 训练循环中的损失追踪系统真正的魔法发生在训练循环里。我们需要同时记录两种损失并理解它们的互动关系。# 初始化模型和优化器 G Generator().cuda() D Discriminator().cuda() optimizer_G optim.Adam(G.parameters(), lrlr) optimizer_D optim.Adam(D.parameters(), lrlr) adversarial_loss nn.BCELoss() # 历史记录容器 G_losses [] D_losses [] real_scores [] fake_scores [] for epoch in range(epochs): for i, (imgs, _) in enumerate(dataloader): # 真实数据准备 real_imgs imgs.cuda() real_labels torch.ones(imgs.size(0), 1).cuda() fake_labels torch.zeros(imgs.size(0), 1).cuda() # 训练判别器 optimizer_D.zero_grad() # 真实图片的损失 real_validity D(real_imgs) d_loss_real adversarial_loss(real_validity, real_labels) # 生成图片的损失 z torch.randn(imgs.size(0), latent_dim).cuda() fake_imgs G(z) fake_validity D(fake_imgs.detach()) d_loss_fake adversarial_loss(fake_validity, fake_labels) # 总判别器损失 d_loss d_loss_real d_loss_fake d_loss.backward() optimizer_D.step() # 训练生成器 optimizer_G.zero_grad() gen_validity D(fake_imgs) g_loss adversarial_loss(gen_validity, real_labels) g_loss.backward() optimizer_G.step() # 记录数据 G_losses.append(g_loss.item()) D_losses.append(d_loss.item()) real_scores.append(real_validity.mean().item()) fake_scores.append(fake_validity.mean().item())关键指标说明指标名称计算公式健康范围判别器真实损失BCE(D(x), 1)0.3-0.7波动判别器生成损失BCE(D(G(z)), 0)0.3-0.7波动生成器对抗损失BCE(D(G(z)), 1)0.5-1.5波动真实样本得分D(x)的平均值0.7-0.9稳定生成样本得分D(G(z))的平均值0.1-0.3稳定3. 解读损失曲线的五种典型模式当训练进行到第20个epoch时我的屏幕上出现了这样的曲线图plt.figure(figsize(12,6)) plt.plot(G_losses, labelGenerator Loss) plt.plot(D_losses, labelDiscriminator Loss) plt.plot(real_scores, labelD(x) Score) plt.plot(fake_scores, labelD(G(z)) Score) plt.xlabel(Iteration) plt.ylabel(Value) plt.legend() plt.grid() plt.show()健康训练的曲线特征生成器和判别器损失呈现周期性振荡真实样本得分(D(x))稳定在0.8左右生成样本得分(D(G(z)))在0.2-0.4区间波动两条损失线像交织的DNA双螺旋结构四种异常模式诊断判别器过强D_loss快速趋近0G_loss持续高位震荡生成样本得分低于0.1解决方案降低判别器学习率或减少其层数生成器过强G_loss异常降低D(G(z))得分超过0.5生成样本多样性降低解决方案添加梯度惩罚或调整更新频率模式崩溃损失曲线突然剧烈震荡生成样本趋同判别器得分剧烈波动解决方案增加潜在空间维度或使用minibatch判别训练停滞两条损失线平行移动得分指标无明显变化生成质量长期不提升解决方案检查梯度流动或调整噪声注入4. 高级可视化损失曲面的动态探索为了更深入理解GAN的优化空间我们可以绘制损失函数的动态等高线图from mpl_toolkits.mplot3d import Axes3D # 在参数空间采样 g_params np.linspace(-1, 1, 50) d_params np.linspace(-1, 1, 50) G_mesh, D_mesh np.meshgrid(g_params, d_params) loss_surface np.zeros_like(G_mesh) # 计算每个点的损失值 for i in range(len(g_params)): for j in range(len(d_params)): with torch.no_grad(): G.load_state_dict(torch.load(generator.pth)) D.load_state_dict(torch.load(discriminator.pth)) adjust_params(G, D, G_mesh[i,j], D_mesh[i,j]) z torch.randn(100, latent_dim).cuda() fake_imgs G(z) validity D(fake_imgs) loss_surface[i,j] adversarial_loss(validity, torch.ones(100,1).cuda()) # 绘制3D曲面 fig plt.figure(figsize(12,8)) ax fig.add_subplot(111, projection3d) ax.plot_surface(G_mesh, D_mesh, loss_surface, cmapviridis) ax.set_xlabel(Generator Direction) ax.set_ylabel(Discriminator Direction) ax.set_zlabel(Loss Value)这个可视化揭示了GAN优化的鞍点特性——生成器寻找低洼山谷而判别器不断重塑地形。在健康训练中两者会达到动态平衡形成稳定的振荡模式。5. 实战调参策略与损失监控基于损失曲线的实时反馈我们可以建立这样的调参策略学习率调整规则当D_loss 0.3时判别器学习率 ×0.8当G_loss 1.5时生成器学习率 ×1.2当两者差值超过0.5弱势方学习率 ×1.5训练节奏控制# 动态更新频率示例 if abs(G_losses[-1] - D_losses[-1]) 0.7: D_update_freq 2 if G_losses[-1] D_losses[-1] else 1 G_update_freq 2 if D_losses[-1] G_losses[-1] else 1早停机制设计# 基于窗口检测模式崩溃 window_size 100 if len(G_losses) window_size: recent_std np.std(G_losses[-window_size:]) if recent_std 2 * np.std(G_losses[:-window_size]): print(检测到异常震荡启动早停) break在Jupyter Notebook中可以创建实时监控面板from IPython.display import clear_output def live_plot(): clear_output(waitTrue) plt.figure(figsize(12,6)) plt.subplot(121) plt.plot(G_losses[-1000:], r-, labelG Loss) plt.plot(D_losses[-1000:], b-, labelD Loss) plt.legend() plt.subplot(122) plt.hist(D(fake_imgs).detach().cpu().numpy(), bins20, alpha0.5, labelFake) plt.hist(D(real_imgs).detach().cpu().numpy(), bins20, alpha0.5, labelReal) plt.legend() plt.show() # 在训练循环中每隔100次调用 if i % 100 0: live_plot()