💡💡💡BRA问题点：由可变形点选择的键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在让每个查询聚焦于top-k路由区域。然而，在计算注意力时，选定的键值对受到太多无关查询的影响，减弱了对更重要查询的注意力。💡💡💡解决方案：为解决这些问题，我们提出了可变形双级路由注意力（DBRA）模块，该模块使用代理查询优化键值对的选择，并增强了注意力图中查询的解释性。1）作为注意力可变形双级路由注意力（DBRA）模块使用；推荐指数：五星DBRA| 亲测在多个数据集能够实现涨点，对标BRA。《