https://heehel.com/aigc/google-bard-gemini.html
网友Igor Pogany在查看谷歌新发布的双子星模型数据时，发现谷歌露出了小鸡脚，他发现，"Gemini Ultra的90.0%在MMLU上的分数是他们最引以为豪的基准。相较之下，GPT-4只获得了86.4%的分数，甚至低于人类测试结果的89.8%。然而，问题出在比较模型时使用了不同的提示技术。简单来说，谷歌在对比自家和GPT的数据时，双子星的测试方法比GPT的更加有利，谷歌使用了对GPT更加不利的测试方法。
Gemini采用了思想链（CoT）提示，总计32条，以确保取得最佳结果。与此相反，Google选择使用5次提示方法对GPT-4进行评估。尽管多重提示是一种可靠的技术，但远远不及CoT提示的有效性。
Igor Pogany还说，扭曲统计数据，以欺骗普通消费者购买产品，是一种不道德的策略。对Gemini Ultra而言，这并不是一个良好的兆头。这引发了对产品真实性和比较公平性的质疑。"这下谷歌怕是要被骂惨咯。
https://heehel.com/ai-news/ziplora.html
