据Twitter用户God of Prompt报道，Phi与Mistral模型在GSM1k基准测试中的准确率相比GSM8k下降了13%，部分模型变体下降幅度高达13.4个百分点。分析指出，这些模型并未展现真正的推理能力，而是由于训练过程中见过答案导致记忆化。这一发现对模型在商业和科研领域的泛化能力与可靠性提出了严峻挑战。