AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


“聚类+Transformer”俩搭档配享太庙!这方向发A会根本不用忧!
发布日期:2024-11-06 07:31:18 浏览次数: 1628 来源:学姐带你玩AI


最近发现CVPR、ICCV、Neurips等顶会上有关聚类+Transformer的论文还真不少,而且基本都是效果很好,创新点很值得参考的成果。

比如CVPR2024的S2VNet新型框架,结合了聚类方法和Transformer架构来实现通用的医学图像分割,性能在多个数据集上超越了SOTA,且推理速度提升近15倍,内存使用减少48.2%。

可见聚类+Transformer这个处理序列/文本数据的创新方法确实很高的研究价值,再加上它本身就有很多优势,不仅能增强特征表示和模型性能,还能优化计算效率,提高模型的可解释性,为图像分割等聚类任务提供新的解决方案。

Clustering propagation for universal medical image segmentation

方法:论文提出了一种名为S2VNet的通用分割框架,通过切片到体积的传播策略,利用聚类方法来统一处理自动和交互式医学图像分割任务,克服了现有解决方案在慢速推理、远程切片联系不足等方面的局限性,显著提高了分割精度和效率。

创新点:

  • 提出了一种切片到体积的传播机制,通过聚类的方法将前一切片的聚类结果(即聚类中心)传递到下一切片。
  • 该框架在不改变网络架构的情况下,通过用户交互指导整个体积的分割,并支持任意数量的类,每个类都可以用来初始化一个聚类中心。
  • 利用用户输入的点击位置初始化聚类中心,从而实现了基于聚类的交互式分割策略。

ClusterFomer: Clustering As A Universal Visual Learner

方法:论文提出了一种名为CLUSTERFORMER的通用视觉模型,基于聚类和Transformer范式,通过递归交叉注意力聚类和特征分派的新颖设计,解决图像分类、目标检测和图像分割等异构视觉任务。

创新点:

  • 通过重新定义Transformer中的交叉注意力机制,实现了聚类中心的递归更新,增强了表示学习的能力。
  • 通过更新后的聚类中心,以基于相似性的度量重新分配图像特征,从而实现透明的工作流程。
  • 提出了一种基于聚类的统一视觉框架,能够在不同聚类粒度上处理异构视觉任务。

Tore: Token reduction for efficient human mesh recovery with transformer

方法:论文提出了一种简单而有效的令牌减少(TORE)策略,通过结合3D几何结构和2D图像特征来减少Transformer中的冗余令牌。这种方法通过体结构的先验信息逐步恢复网格几何,并进行令牌聚类,以传递更少但更具辨识力的图像特征令牌。

创新点:

  • 提出了减少Transformer中冗余token的策略,以降低计算复杂度。
  • 引入了基于聚类的新型注意力机制,提高了模型效率和可解释性。
  • 开发了适用于自动和交互式医学图像分割的统一框架,提升了性能和实用性。


  • PaCa-ViT: learning patch-to-cluster attention in vision transformers

方法:论文介绍了一种名为PaCa-ViT的方法,它结合了聚类和Transformer技术来提高视觉任务中的效率和可解释性,通过学习Patch-to-Cluster Attention来减少传统patch-to-patch注意力机制中的二次复杂度问题,并利用聚类来捕捉图像中更有意义的视觉token。

创新点:

  • 从传统的Patch-to-Patch注意力机制转变为Patch-to-Cluster的注意力机制,实现了从二次复杂度到线性复杂度的提升,显著提高了计算效率。
  • PaCa模块允许通过热图直观地可视化学到的聚类分配,为解释模型提供了一种直接的前向解释器,与传统的仅依赖注意力分数的方法形成互补。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询