//再不认真就输了!
//致力于发现AIGC动态与教程。

网友锐评——谷歌这个老东西想用新发的双子星 Gemini Ultra 的虚空数据来耍我们?

https://heehel.com/aigc/google-bard-gemini.html

网友Igor Pogany在查看谷歌新发布的双子星模型数据时,发现谷歌露出了小鸡脚,他发现,"Gemini Ultra的90.0%在MMLU上的分数是他们最引以为豪的基准。相较之下,GPT-4只获得了86.4%的分数,甚至低于人类测试结果的89.8%。然而,问题出在比较模型时使用了不同的提示技术。简单来说,谷歌在对比自家和GPT的数据时,双子星的测试方法比GPT的更加有利,谷歌使用了对GPT更加不利的测试方法。

Gemini采用了思想链(CoT)提示,总计32条,以确保取得最佳结果。与此相反,Google选择使用5次提示方法对GPT-4进行评估。尽管多重提示是一种可靠的技术,但远远不及CoT提示的有效性。

Igor Pogany还说,扭曲统计数据,以欺骗普通消费者购买产品,是一种不道德的策略。对Gemini Ultra而言,这并不是一个良好的兆头。这引发了对产品真实性和比较公平性的质疑。"这下谷歌怕是要被骂惨咯。

https://heehel.com/ai-news/ziplora.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《网友锐评——谷歌这个老东西想用新发的双子星 Gemini Ultra 的虚空数据来耍我们?》
文章链接:https://heehel.com/aigc/google-gemini-ultra.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册