是Transformer-based QA模型的痛点-全层输入宽自注意力导致计算慢和内存高予以解决，我提出DeFormer，一个分解的Transformer变体。
在较低层，DeFormer用问题宽和段落宽自注意力替换全自注意力，避免问题和段落序列的交叉计算。
这允许独立处理输入文本，实现段落表示的预计算，从而大幅减少运行时计算。
DeFormer结构与Transformer相似，可直接用预训练权重初始化，并在QA数据集上微调。
我们的实验显示，DeFormer版本的BERT和XLNet在QA任务上加速4.3倍以上，仅通过简单蒸馏损失损失1%准确率。”
尼兰詹说的是他2020年在ACL会议上发表的论文，是当时LLM优化领域的经典工作，当时LLM流行的模型叫BERT，这篇论文直接构建在预训练Transformer上，LLM的瓶颈，也就是计算成本，在下游任务中凸显，这篇则一定程度上提出了解决思路。
“包括我在2020年的另外一篇工作，其实和LLM的核心，也就是多层注意力有着类似的核心逻辑”
尼兰詹自然不是水货，他在人工智能领域确实浸淫多年，有不错的成果，手上有好几篇顶会文章，都和LLM有关。
那还是2020年，当时大模型还名不见经传呢，在人工智能领域属于边缘化的方向。
扎克伯格是花了很多冤枉钱，把脸书改名META错误估计了元宇宙的到来时间，但不代表他没脑子，单纯因为尼兰詹是林燃的教授，就找他来。
尼兰詹自己真有几把刷子，也是很重要的原因。
大模型里的关键工作，包括自注意力机制、多头注意力、位置编码这些，尼兰詹都有深入的研究，毕竟他研究的重要方向之一就是NLP。
扎克伯格欣喜过望，觉得自己找对人了。
“巴拉苏布拉马尼安教授，在训练LLM中，你是如何处理过拟合或者欠拟合问题呢？”
“大规模训练，预训练涉及在海量无标签数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。
针对过拟合，我认为使用正则化和dropout，比如说在BERT变体中dropout率0.1，并应用早停机制；欠拟合时，增加模型深度或数据增强。
本章未完，请点击下一页继续阅读！