令牌选择性融合：开启Token选秀模式，C位出道才配拥有注意力！| 即插即用模块与论文写作【V1代码讲解165】
令牌选择性融合模块（Token selective fusion，TSF）：
实际意义：①冗余计算与噪声干扰：传统自注意力计算所有令牌的关联，引入无关信息。
②关键特征筛选不足：传统 Transformer对所有Token一视同仁，无法根据任务需求动态选择最具判别性的特征。
实现方式：①分组卷积：将输入特征拆分为g个组，生成 Q/K/V。
②Top-k 筛选：注意力矩阵中只留前 k% 高值令牌，屏蔽冗余。
③
立即观看
0