应用介绍
研究团队的等成本分析表明,注意力机制随生成长度呈二次方增长的特性,加上键值内存相对于模型参数的失衡扩展趋势,共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧,正因此这种架构虽然能够降低激活参数量,但却未能缓解注意力计算的高开销现状。
研究团队的等成本分析表明,注意力机制随生成长度呈二次方增长的特性,加上键值内存相对于模型参数的失衡扩展趋势,共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧,正因此这种架构虽然能够降低激活参数量,但却未能缓解注意力计算的高开销现状。