损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的科技越需要改进；距离越小，说明你-联动特辑-影城战纪

By admin

2026-02-27 10:05:30

联动特辑

损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的科技越需要改进；距离越小，说明你

一、什么是损失函数？损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。

通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的技术越需要改进；距离越小，说明你越接近完美。

常见损失函数及用途任务类型损失函数公式（简化版）特点回归任务均方误差（MSE）1/n ∑(y−y^)2对异常值敏感，梯度随误差增大而线性增长。平均绝对误差（MAE）1/n ∑∥y−y^∥对异常值鲁棒，梯度恒定。分类任务交叉熵损失（Cross-Entropy）−∑ylog⁡(y^)鼓励预测概率分布逼近真实分布。二元交叉熵（BCE）−[ylog⁡(y^)+(1−y)log⁡(1−y^)]适用于二分类问题。多标签分类负对数似然损失（NLL）−∑log⁡(y^i)常与LogSoftmax结合使用。对抗训练对抗损失（如GAN的判别器损失）log⁡(D(x))+log⁡(1−D(G(z)))用于生成模型，平衡生成器和判别器。二、损失函数的三大核心作用1. 衡量模型性能的标尺损失函数为模型的表现提供了可量化的评估标准：

回归任务：计算预测值与真实值的数值差距

例如：预测房价误差10万元 vs 误差50万元，前者损失值更小

分类任务：评估预测概率分布与真实分布的差异

例如：猫狗分类中，把猫预测为狗的概率越高，损失值越大

2. 指导参数优化的导航仪通过反向传播算法，损失函数的梯度指引着模型参数的更新方向：

计算当前参数下的损失值

计算损失函数对各参数的梯度（偏导数）

沿梯度反方向调整参数（因为我们要最小化损失）

# PyTorch中的典型优化流程

optimizer.zero_grad() # 清空过往梯度

loss = criterion(output, target) # 计算损失

loss.backward() # 反向传播计算梯度

optimizer.step() # 更新参数

3. 塑造模型行为的指挥棒不同的损失函数会导致模型学习到不同的特征：

损失函数类型引导模型倾向均方误差(MSE)优先减少大误差平均绝对误差(MAE)平等对待各误差交叉熵(Cross-Entropy)让正确类概率逼近1Focal Loss更关注难分类样本三、常见损失函数详解1. 回归任务常用损失函数(1) 均方误差（MSE, Mean Squared Error）公式：

特点：

对大的误差惩罚更重（平方效应）

对异常值敏感

梯度随误差增大而线性增长

适用场景：

房价预测

温度预测等连续值预测任务

# PyTorch实现

loss = nn.MSELoss()

input = torch.randn(3, requires_grad=True)

target = torch.randn(3)

output = loss(input, target)

(2) 平均绝对误差（MAE, Mean Absolute Error）公式：

特点：

对异常值更鲁棒

梯度恒定（±1）

在0点不可导（需特殊处理）

适用场景：

需要降低异常值影响的回归任务

金融风险评估等

# PyTorch实现

loss = nn.L1Loss() # MAE又称L1 Loss

2. 分类任务常用损失函数(1) 交叉熵损失（Cross-Entropy Loss）二分类公式（Binary Cross-Entropy）：

多分类公式：

特点：

鼓励预测概率分布逼近真实分布

对错误预测惩罚呈对数增长

与Softmax激活函数配合使用效果最佳

适用场景：

图像分类

情感分析等分类任务

# PyTorch实现

# 二分类

loss = nn.BCELoss() # 需配合sigmoid使用

# 多分类（更常用）

loss = nn.CrossEntropyLoss() # 已包含Softmax

(2) 负对数似然损失（NLL Loss）公式：

特点：

需与LogSoftmax配合使用

适用于多分类问题

可以处理类别权重

# PyTorch实现

m = nn.LogSoftmax(dim=1)

loss = nn.NLLLoss()

output = loss(m(input), target)

3. 特殊场景损失函数(1) Focal Loss公式：

特点：

通过γ参数降低易分类样本的权重

通过α参数平衡类别不平衡

特别适用于目标检测等正负样本极不平衡的场景

# 实现示例

class FocalLoss(nn.Module):

def __init__(self, alpha=1, gamma=2):

super().__init__()

self.alpha = alpha

self.gamma = gamma

def forward(self, inputs, targets):

BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')

pt = torch.exp(-BCE_loss)

loss = self.alpha * (1-pt)**self.gamma * BCE_loss

return loss.mean()

(2) 对抗损失（Adversarial Loss）GAN中的判别器损失：

特点：

用于生成对抗网络(GAN)

包含生成器和判别器的对抗目标

需要精心平衡两部分损失

四、损失函数的关键特性1. 可微性（Differentiability）必要性：梯度下降法要求损失函数可求导

处理不可微点：

ReLU在0点不可微，但实践中可通过次梯度处理

使用平滑近似（如用Smooth L1 Loss替代L1 Loss）

2. 非负性（Non-negativity）损失值应始终≥0

完美预测时损失为0

这保证了优化的明确目标

3. 任务适配性（Task-Specific）回归任务：MSE、MAE、Huber Loss等

分类任务：交叉熵、NLL Loss等

排序任务：Triplet Loss、Contrastive Loss等

生成任务：对抗损失、Wasserstein距离等

五、损失函数选择指南1. 根据任务类型选择任务类型推荐损失函数备注回归任务MSE、MAE、Huber异常值多用MAE二分类BCE配合Sigmoid多分类CrossEntropy配合Softmax类别不平衡Focal Loss调整α、γ参数生成对抗网络对抗损失需平衡G和D2. 根据数据特性选择异常值多：优先考虑MAE或Huber Loss

类别不平衡：使用加权交叉熵或Focal Loss

需要概率解释：选择对数似然类损失

3. 组合损失函数复杂任务可能需要组合多个损失函数：

# 多任务学习示例

loss = α*loss1 + β*loss2 + γ*loss3

例如：

目标检测：分类损失 + 定位损失

图像分割：交叉熵 + Dice Loss

风格迁移：内容损失 + 风格损失

六、损失函数的PyTorch实战1. 基础使用示例

import torch

import torch.nn as nn

import torch.nn.functional as F

# 回归任务

mse_loss = nn.MSELoss()

input = torch.randn(3, requires_grad=True)

target = torch.randn(3)

output = mse_loss(input, target)

output.backward()

# 分类任务

ce_loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True) # 3样本，5类别

target = torch.empty(3, dtype=torch.long).random_(5)

output = ce_loss(input, target)

output.backward()

2. 自定义损失函数示例

class DiceLoss(nn.Module):

"""用于图像分割的Dice Loss"""

def __init__(self, smooth=1.):

super(DiceLoss, self).__init__()

self.smooth = smooth

def forward(self, input, target):

input = torch.sigmoid(input)

intersection = (input * target).sum()

dice = (2.*intersection + self.smooth)/(input.sum() + target.sum() + self.smooth)

return 1 - dice

3. 多任务损失组合

# 假设我们有三个子任务

loss_fn1 = nn.CrossEntropyLoss() # 分类任务

loss_fn2 = nn.MSELoss() # 回归任务

loss_fn3 = DiceLoss() # 分割任务

def multi_task_loss(output1, output2, output3, target1, target2, target3):

loss1 = loss_fn1(output1, target1)

loss2 = loss_fn2(output2, target2)

loss3 = loss_fn3(output3, target3)

return 0.5*loss1 + 0.3*loss2 + 0.2*loss3 # 加权求和

七、常见问题与解决方案1. 损失不下降可能原因学习率设置不当（太大震荡，太小收敛慢）

梯度消失/爆炸（用BatchNorm、梯度裁剪）

数据或标签有问题（检查数据质量）

损失函数选择不当（如分类任务用了MSE）

2. 损失震荡严重尝试减小学习率

增加批量大小(Batch Size)

使用带动量的优化器（如Adam）

添加正则化项（L2权重衰减）

3. 类别不平衡处理使用加权交叉熵

# 为稀有类别设置更高权重

weights = torch.tensor([1, 5]) # 类别1的权重是5

loss = nn.CrossEntropyLoss(weight=weights)

采用Focal Loss

过采样稀有类别或欠采样常见类别

八、前沿进展与扩展阅读自适应损失函数

让网络自动学习损失函数参数

如：Learning to Learn by Gradient Descent by Gradient Descent

度量学习中的损失函数

Triplet Loss、Contrastive Loss等

用于人脸识别、图像检索等任务

强化学习中的损失函数

策略梯度中的优势函数

TD误差等

影城战纪 - 剧情向网游活动专题站

影城战纪 - 剧情向网游活动专题站