根据推特用户God of Prompt（@godofprompt）报道，2022年OpenAI研究人员在训练AI模型处理简单数学任务（如模加法和置换群）时，意外发现了“grokking”现象。起初，标准训练方法导致模型快速过拟合且泛化能力差，但当训练周期远超通常收敛点（超过10,000个epoch）后，模型突然实现了完美泛化。这一结果出乎意料，为AI模型训练策略带来了新的启示，特别是在需要高可靠性和泛化能力的业务场景下，超长训练可能成为提升模型表现的新途径。（来源：@godofprompt 推特，2026年1月6日）

根据Chris Olah在Twitter上的分析，将重复的数据点（如p=[1,1,1,0,0,0,0...]）加入AI转码器训练数据，会促使模型学习专门用于记忆该数据点的特征。这一现象反映了AI训练中的过拟合问题，可能影响模型的泛化能力和鲁棒性（来源：Chris Olah，Twitter，2025年8月8日）。对于需要部署AI解决方案的企业，理解数据结构如何影响模型行为，有助于优化数据工程流程，防止模型过度记忆，提升实际应用表现。