| 失效链接处理 |
|
适配器微调（Adapter-tuning）篇 PDF 下载
相关截图：
 主要内容：
一、为什么 需要 适配器微调（Adapter-tuning）？
1. 预训练模型参数量变多，在特定任务下进行全量微调即昂贵又耗时；
二、适配器微调（Adapter-tuning）思路？
• 设计了Adapter结构（首先是一个down-project层将高维度特征映射到低维特征，然后过一个非线形层之后，
再用一个up-project结构将低维特征映射回原来的高维特征；同时也设计了skip-connection结构，确保了在最
差的情况下能够退化为identity），并将其嵌入Transformer的结构里面；
• 在训练时，固定住原来预训练模型的参数不变，只对新增的Adapter结构进行微调。同时为了保证训练的高效
性（也就是尽可能少的引入更多参数）。
三、 适配器微调（Adapter-tuning）特点是什么？
• 特点：
• 通过在Transformer层中嵌入Adapter结构，在推理时会额外增加推理时长。
四、AdapterFusion 思路 是什么？
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
