| 失效链接处理 |
|
大模型（LLMs）参数高效微调(PEFT) 面 PDF 下载
相关截图：
 主要内容：
1. 微调方法是啥？如何微调？
fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。
prompt-tune, 包括p-tuning、lora、prompt-tuning、adaLoRA等delta tuning方法，部分模型参数参与微调，训练
快，显存占用少，效果可能跟FT（fine-tune）比会稍有效果损失，但一般效果能打平。
链家在BELLE的技术报告《A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on
Chinese Instruction Data for Instruction Following Large Language Model》中实验显示：FT效果稍好于LoRA。
2. 为什么需要 PEFT？
在面对特定的下游任务时，如果进行Full FineTuning（即对预训练模型中的所有参数都进行微调），太过低效；
而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。
3. 介绍一下 PEFT？
PEFT技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型
预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现
高效的迁移学习。
4. PEFT 有什么优点？
PEFT技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究
中来。除此之外，FEFT可以缓解全量微调带来灾难性遗忘的问题。
|
苏公网安备 32061202001004号
