比 Softmax 更聪明？ICCV2025 幅度感知注意力 (MALA) 全解析！| 即插即用模块与论文写作【V1代码讲解177】
幅度感知线性注意力（Magnitude-Aware Linear Attention, MALA）：
实际意义：①线性注意力忽视幅度问题：线性注意力（Linear Attention）在计算过程中完全忽略了查询（Query）的幅度信息，这导致线性注意力与传统的Softmax Attention在注意力得分分布上的显著差异，导致注意力分配不均，表现出较弱的局部感知能力。
②注意力得分分布不合理的问题：由于忽视查询（Query）幅度，不会随着幅度变化而发生动态调整，导致它不能和Softmax Attention一样有效捕捉到局部特征。
实现方式：原文中出现大量数学推导，但是只是想使用它，因此以代码为准。
立即观看
0