微信扫码
与创始人交个朋友
我要投稿
最近发现CVPR、ICCV、Neurips等顶会上有关聚类+Transformer的论文还真不少,而且基本都是效果很好,创新点很值得参考的成果。
比如CVPR2024的S2VNet新型框架,结合了聚类方法和Transformer架构来实现通用的医学图像分割,性能在多个数据集上超越了SOTA,且推理速度提升近15倍,内存使用减少48.2%。
可见聚类+Transformer这个处理序列/文本数据的创新方法确实有很高的研究价值,再加上它本身就有很多优势,不仅能增强特征表示和模型性能,还能优化计算效率,提高模型的可解释性,为图像分割等聚类任务提供新的解决方案。
方法:论文提出了一种名为S2VNet的通用分割框架,通过切片到体积的传播策略,利用聚类方法来统一处理自动和交互式医学图像分割任务,克服了现有解决方案在慢速推理、远程切片联系不足等方面的局限性,显著提高了分割精度和效率。
创新点:
方法:论文提出了一种名为CLUSTERFORMER的通用视觉模型,基于聚类和Transformer范式,通过递归交叉注意力聚类和特征分派的新颖设计,解决图像分类、目标检测和图像分割等异构视觉任务。
创新点:
方法:论文提出了一种简单而有效的令牌减少(TORE)策略,通过结合3D几何结构和2D图像特征来减少Transformer中的冗余令牌。这种方法通过体结构的先验信息逐步恢复网格几何,并进行令牌聚类,以传递更少但更具辨识力的图像特征令牌。
创新点:
方法:论文介绍了一种名为PaCa-ViT的方法,它结合了聚类和Transformer技术来提高视觉任务中的效率和可解释性,通过学习Patch-to-Cluster Attention来减少传统patch-to-patch注意力机制中的二次复杂度问题,并利用聚类来捕捉图像中更有意义的视觉token。
创新点:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-08-21
2024-04-11
2024-08-13
2024-07-09
2024-07-18
2024-10-25
2024-07-01
2024-06-17