一、基础面试问题
 

要理解LLM，重要的是从基本概念开始。这些基础问题涵盖
了架构、关键机制和典型挑战等方面，为学习更高级主题提
供了坚实的基础。
 

问题1:什么是Transformer架构，它在LLM中是如何使用的?
 

Transformer架构是Vaswani等人于2017年推出的一种深度学
习模型，旨在以比递归神经网络（RNN)和长短期记忆（LSTM)
等先前模型更高的效率和性能处理顺序数据。它依赖于自注
意力机制(self-attention mechanisms)来并行处理输入数据，
使其具有高度的可扩展性，并能够捕获长期依赖关系。在
LLM中，Transformer架构构成了骨干，使模型能够高效地处
理大量文本数据，并生成上下文相关和连贯的文本输出。
 

问题2：请解释LLM中“上下文窗口”的概念及其含义？
 

LLM中的上下文窗口是指模型在生成或理解语言时可以一
次考虑的文本范围（就标记或单词而言），上下文窗口的意
义在于它对模型生成逻辑和相关响应的能力的影响。更大的
上下文窗口允许模型考虑更多的上下文，从而更好地理解
和生成文本，特别是在复杂或冗长的对话中，然而，它也
增加了计算要求，使其在性能和效率之间取得了平衡。
 

问题3：大模型的预训练目标是什么，它们是如何工作的？
 

LLM的常见预训练目标包括掩码语言建模（MLM)和自回归
语言建模，在MLM中，对句子中的随机单词进行掩码，并
训练模型根据周围上下文预测掩码单词，这有助于模型理解
双向上下文。
 

自回归语言建模涉及预测序列中的下一个单词，并训练模型
一次生成一个标记的文本，这两个目标都使模型能够从大型
语料库中学习语言模式和语义，为微调特定任务提供了坚实
的基础。