据Twitter用户God of Prompt指出，最新研究表明，像GPT4这样的大型语言模型在可解释性方面的主要难题来自复杂且不断演化的张量空间，而不是模型本身的规模。GPT4每个Transformer层都会生成L×L的注意力矩阵，96层和96个头加在一起形成了庞大的张量云。相关论文证实，这种不透明的张量空间成为理解模型行为的主要障碍，对推动高级模型的透明度和可控性提出了新挑战。