“GPT-4只是在压缩数据”，马毅团队造出白盒Transformer，可解释的大模型要来了吗？
2024/1/27 10:47:30 阅读：72 发布者：
在 ChatGPT 引发的新一轮 AI 爆发之后，一部分研究者指出，大语言模型具备通过观察进行因果归纳的能力，但缺乏自己主动推理新的因果场景的能力。相比于持乐观预测的观点，这意味着 AGI 仍然是一个复杂而遥远的目标。一直以来，AI 社区内有一种观点：神经网络的学习过程可能就只是对数据集的压缩。近日，伯克利和香港大学的马毅教授领导的一个研究团队给出了自己的最新研究结果：包括 GPT-4 在内的当前 AI 系统所做的正是压缩。通过新提出的深度网络架构 CRATE，他们通过数学方式验证了这一点。而更值得注意的是，CRATE 是一种白盒 Transformer，其不仅能在几乎所有任务上与黑盒 Transformer 相媲美，而且还具备非常出色的可解释性。（DOI：arXiv:2311.13110）
转自：“鲸锐学术”微信公众号
如有侵权，请联系本站删除！
