| 失效链接处理 |
|
LLMs 损失函数篇 PDF 下载
相关截图：
 主要内容：
三、KL 散度与交叉熵的区别？
KL散度指的是相对熵，KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度越小表示两个分布越接近。
也就是说KL散度是不对称的，且KL散度的值是非负数。（也就是熵和交叉熵的差）
• 交叉熵损失函数是二分类问题中最常用的损失函数，由于其定义出于信息学的角度，可以泛化到多分类问题
中。
• KL散度是一种用于衡量两个分布之间差异的指标，交叉熵损失函数是KL散度的一种特殊形式。在二分类问题
中，交叉熵函数只有一项，而在多分类问题中有多项。
四、多任务学习各loss差异过大怎样处理？
多任务学习中，如果各任务的损失差异过大，可以通过动态调整损失权重、使用任务特定的损失函数、改变模型
架构或引入正则化等方法来处理。目标是平衡各任务的贡献，以便更好地训练模型
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
