内容简介：

混合模型ACmix将自注意与卷积的整合，同时具有自注意和卷积的优点。这是清华大学、华为和北京人工智能研究院共同发布在2022年CVPR中的论文

卷积分解与自注意力
卷积分解

标准卷积:

重写为来自不同内核位置的特征映射的总和:

这里的：

为了进一步简化公式，使用Shift操作的定义:

g(p,q)ij可以改写为:

由上得出，标准卷积可以概括为两个阶段:

在第一阶段，输入特征从某个位置(p, q)核权重进行线性投影。这与标准的1×1卷积相同。
在第二阶段，投影特征图根据内核位置移动并最终聚合在一起。
自注意力分解

考虑一个有N个头的标...

查看原文

? 论文推荐：ACMix整合self-Attention和Convolution (ACMix)的优点的混合模型