Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群17
Java1234官方群25:838462530
        
SpringBoot+SpringSecurity+Vue+ElementPlus权限系统实战课程 震撼发布        

最新Java全栈就业实战课程(免费)

springcloud分布式电商秒杀实战课程

IDEA永久激活

66套java实战课程无套路领取

锋哥开始收Java学员啦!

Python学习路线图

锋哥开始收Java学员啦!
当前位置: 主页 > Java文档 > 人工智能AI >

Transformer面试 DOC 下载


分享到:
时间:2025-05-30 10:03来源:http://www.java1234.com 作者:转载  侵权举报
Transformer面试
失效链接处理
Transformer面试 DOC 下载 

 
 
相关截图:
 


主要内容:
 

.1.Transformer为何使用多头注意力机制?(为什么不使用一个头)
.2.Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘? (注意和第一个问题的区别)
.3.Transformer计算attention的时候为何选择点乘而不是加法?两者计算复杂度和效果上有什么区别?
.4.为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根),并使用公式推导进行讲解
.5.在计算attention score的时候如何对padding做mask操作?
.6.为什么在进行多头注意力的时候需要对每个head进行降维?(可以参考上面一个问题)
.7.大概讲一下Transformer的Encoder模块?
.8.为何在获取输入词向量之后需要对矩阵乘以embedding size的开方?意义是什么?
.9.简单介绍一下Transformer的位置编码?有什么意义和优缺点?
.10.你还了解哪些关于位置编码的技术,各自的优缺点是什么?
.11.简单讲一下Transformer中的残差结构以及意义。
.12.为什么transformer块使用LayerNorm而不是BatchNorm?LayerNorm 在Transformer的位置是哪里?



 


------分隔线----------------------------

锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程

锋哥推荐