OpenAI 研究：深度神经网络中的双重下降现象

OpenAI 发现双重下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但研究者尚不完全理解其成因，认为值得进一步研究。