ICCV-2021 Emerging Properties in Self-Supervised Vision Transformers

论文地址：Emerging Properties in Self-Supervised Vision Transformers

DINO：融入ViT的对比学习，不用标签训练的自注意效果好

1. 不用标签训练的自注意图效果极好，媲美直接对物体做语义分割
2. 防止训练坍塌，对teacher网络进行centering，指把一个batch作均值后减掉，防止模型坍塌

---