本文共 676 字，大约阅读时间需要 2 分钟。

卷积神经网络（CNNs）在计算机视觉领域一直扮演着核心角色，其多种高效变体依然广受欢迎。然而，随着Transformer技术从自然语言处理领域逐渐迁移到计算机视觉领域，越来越多的研究开始尝试摒弃传统的CNN架构，转而采用端到端的Transformer解决方案。令人惊讶的是，最近一个发现表明，即使完全摒弃传统的卷积层和Transformer组件，一个基于简单多层感知器（MLP）的架构也能有效地生成视觉表征。尽管CNNs、Transformers和MLP-Mixers在架构上可能被视为截然不同的体系，但我们提供了一个统一的理论视角，表明它们实际上是神经网络在聚合空间上下文信息方面的一种通用方法的不同实现。

基于这一观察，我们提出了一种名为CONTAINER（CONText AggregatIon NEtwoRk，上下文聚合网络）的通用构建块。该架构能够像Transformer一样充分利用长距离上下文交互，同时仍然保留CNN中局部卷积操作带来的归纳偏置优势，从而实现传统CNN在训练速度上的优势。通过实验，我们在ImageNet数据集上使用2200万参数的模型实现了82.7%的准确率，充分验证了CONTAINER架构的有效性。

CONTAINER的核心思想在于通过多头上下文聚合机制，有效地捕捉图片中的空间关系，同时结合局部卷积的归纳能力，避免了传统Transformer可能遇到的高计算成本和信息过载问题。这种架构设计既保留了Transformer在长距离依赖上的优势，又避免了CNN在训练速度上的瓶颈，使其成为计算机视觉领域的有力解决方案。

转载地址：http://pjdbz.baihongyu.com/