news 2026/4/23 11:10:42

超模表现!吊打ViT/ResNet!注意力机制+多尺度卷积新成果横扫SOTA

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
超模表现!吊打ViT/ResNet!注意力机制+多尺度卷积新成果横扫SOTA

小伙伴们好,我是小嬛。专注于人工智能、计算机视觉领域相关分享研究。【目标检测、图像分类、图像分割、目标跟踪等项目都可做,相关领域论文辅导也可以找我;需要的可联系(备注来意)】

-------正文开始--------

前段时间上海大学一篇文章提出的ECViT有点意思,仅4.8M参数就全面超越了ViT/ResNet/ConvNeX,实现了更高效率、更强泛化能力,还无需预训练。

研究了一下,这模型的核心是多尺度卷积+注意力机制,这对组合可是当前cv领域的重要研究方向之一,因为它拥有广泛的适用性,可无缝应用到分类/检测/分割/超分/医学图像等几乎所有视觉任务中!

对于论文er来说,这方向也确实是个高质量选择,如果感兴趣,以目前研究进度来看,将边缘轻量化的目标,通过效率优先的技术路径实现,是个不错的思路,比如动态稀疏多尺度注意力。

有论文需求的小伙伴

扫码咨询

ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages

方法:论文提出的 ECViT,通过多尺度卷积与注意力机制协同,融合 CNN 的归纳偏置与 Transformer 的全局建模能力,搭配金字塔结构,高效捕捉多尺度特征,实现性能与效率的平衡。

创新点:

  • 融合CNN的局部性、平移不变性等归纳偏置与Transformer的全局建模能力,兼具两者优势。

  • 采用多尺度卷积与注意力机制协同设计,通过分区多头自注意力、交互式前馈网络高效捕捉特征。

  • 引入金字塔结构,结合tokens合并操作,在低计算量下实现多尺度特征提取与优化。

    PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation

    方法:PMFSNet的创新点是设计了插件式PMFS模块,通过多尺度卷积与通道、空间自注意力机制协同,以≤100万参数的轻量化架构,高效捕捉特征,平衡2D和3D医学图像分割的性能与效率。

    创新点:

  • 设计插件式PMFS模块,融合多尺度卷积与通道、空间自注意力机制,高效捕捉全局与局部特征。

  • 采用轻量化架构(≤100万参数),优化注意力计算复杂度,适配2D和3D医学图像分割场景。

  • 简化UNet层级结构,通过自适应多分支特征融合与深度可分离卷积,平衡分割性能与部署效率。

    MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer

    方法:MATCNN的创新点是结合多尺度卷积与注意力Transformer,通过MSFM提取局部特征、GFEM捕捉全局特征,搭配信息掩码与专属优化算法,高效融合红外与可见光图像。

    创新点:

  • 设计多尺度融合模块(MSFM),通过多尺度卷积提取红外与可见光图像的局部特征,减少细节损失。

  • 构建基于注意力Transformer的全局特征提取模块(GFEM),捕捉图像全局特征,提升特征连续性。

  • 引入信息掩码与融合多维度损失的优化算法,引导特征提取,平衡红外目标凸显与可见光纹理保留。

    Enhancing Few-Shot Image Classification through Learnable Multi-Scale Embedding and Attention Mechanisms

    方法:论文的创新点在于提出一种融合多尺度卷积与注意力机制的少样本图像分类方法,通过 ResNet-18 提取五个阶段的多尺度特征,借助自注意力机制细化各阶段特征,再通过可学习权重调整各尺度贡献,提升少样本图像分类性能。

    创新点:

  • 基于ResNet-18提取五个阶段的多尺度特征,同时捕捉全局特征与抽象语义特征。

  • 引入自注意力机制对各阶段特征进行细化,强化特征的判别性与鲁棒性。

  • 设计可学习权重动态分配不同尺度特征的重要性,优化多尺度特征融合效果。

感谢各位观众的观看和支持,祝大家的论文早日accept!!

希望论文一路绿灯的朋友可以找我,我有团队,有资源,有背景,一条龙服务~~~~

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/19 1:03:25

risc-v五级流水线cpu新手教程:从取指到写回全流程

从零构建RISC-V五级流水线CPU:一个工程师的实战手记最近在带几位实习生做FPGA上的软核处理器项目,发现很多人对“流水线”三个字既熟悉又陌生——背得出口IF、ID、EX、MEM、WB五个阶段名称,但真要写一段能跑通lw和add指令的Verilog代码时&…

作者头像 李华
网站建设 2026/4/17 2:09:04

高效连接顾客的当代图谱:解析数字营销的核心逻辑与策略进化

什么是数字营销? 数字营销是利用网站、应用程序、移动设备、社交媒体、搜索引擎及其他数字渠道来推广和销售产品和服务的过程。 以下是数字营销与其他营销形式的区别: 高度可衡量的结果:你可以精确追踪有多少人看到了你的广告、点击了你的链接…

作者头像 李华
网站建设 2026/4/12 17:42:51

软件工程毕业设计创新的方向建议

0 选题推荐 - 人工智能篇 毕业设计是大家学习生涯的最重要的里程碑,它不仅是对四年所学知识的综合运用,更是展示个人技术能力和创新思维的重要过程。选择一个合适的毕业设计题目至关重要,它应该既能体现你的专业能力,又能满足实际…

作者头像 李华
网站建设 2026/4/3 5:50:14

YOLO26优化:IoU优化 | IoU优化 | Inner-IoU基于辅助边框的IoU损失,高效结合 GIoU, DIoU, CIoU,SIoU 等

💡💡💡现有IoU问题点:现有的基于 IoU 的边框回归仍聚焦在通过加入新的损失项来加速收敛,忽视 IoU 损失项其自身的限制。 💡💡💡本文如何解决:Inner-IoU引入尺度因子 ratio 控制辅助边框的尺度大小用于计算损失,并与现有的基于 IoU ( GIoU, DIoU, CIoU,SI…

作者头像 李华
网站建设 2026/4/8 16:12:55

HDFS 架构深度解析:大数据存储的基石

HDFS 架构深度解析:大数据存储的基石关键词:HDFS、大数据存储、架构解析、数据块、NameNode、DataNode摘要:本文深入剖析了 HDFS(Hadoop Distributed File System)架构,它是大数据存储的重要基石。通过通俗…

作者头像 李华