CVPR-2020 Exploring Simple Siamese Representation Learning

论文地址：Exploring Simple Siamese Representation Learning

SimSiam：提出孪生网络对比学习，同时作总结性工作

1. 化繁为简，最后可以理解一个K-means问题。
2. 孪生网络既不需要大的batch size，也不需要动量编码器，也不需要负样本效果依然不错。但在实际操作中，动量编码器好用，稳定、能提点
3. stop gradient很重要，可以将simSiam看作一种EM算法，通过逐步更新的方式避免模型坍塌

---