谷歌研究院最近推出了一个名为 "BIG-Bench Mistake" 的数据集，用于评估语言模型的出错概率和自我纠错能力。这个数据集由谷歌研究人员使用自家的 BIG-Bench 基准测试创建，其中包含了 255 个逻辑错误。
通过对市面上的语言模型进行测试，研究人员发现，虽然大多数模型能够识别出逻辑错误并进行自我修正，但效果并不理想，通常需要人工干预来纠正模型的输出。谷歌研究人员表示，这个数据集可以帮助改善模型的自我纠错能力，通过微调后的模型，即使是小型模型也通常比零样本提示的大模型表现更好。
谷歌认为，可以使用小型模型来监督大型模型，在模型纠错方面更加高效，降低了 AI 部署成本，并且更容易进行微调。谷歌的研究对于提升语言模型的自我纠错能力具有重要的指导意义。
https://heehel.com/aigc/wacom-magic-the-gathering.html
https://heehel.com/aigc/cgdreamai.html
