万众期待的Gemini大模子：比GPT-4强，但(dan)强的没有多？,测试,人类,问(wen)题(ti)

谷歌憋了好几个月的大招、人类迄今为止最壮大的AI模子——Gemini，终于发(fa)布了。按照谷歌的说法，它(ta)可以像人类一样明(ming)白我们周围的世界，处置惩(cheng)罚代码(ma)、笔墨、音频、图(tu)像和视频通通没有在话下。Google DeepMind团队称，Gemini在32项基准性能测试中的30项上凌驾了GPT-4。

然(ran)而，多位科(ke)技分析人士以为，虽然(ran)Gemini的性能的确优于现有的多模态模子，但(dan)它(ta)和GPT-4的差(cha)异并没有那么夸张。从谷歌放出的演示视频来看，很(hen)少有什(shi)么我们在已往(wang)一年的AI炒作怒潮里没见过的东西。

若(ruo)是(shi)以谷歌的算力资源、研(yan)发(fa)本领(ling)和雄厚的数据都(dou)仅能做到勉强击败GPT4，更大问(wen)题(ti)在于，Gemini或许就是(shi)以人类目前的技术，能够打造的大模子的上限(xian)了。

比GPT-4强，但(dan)强得没有多

根据谷歌放出的演示视频，Gemini是(shi)玩“你画我猜(cai)”的一把好手，没有仅可以准确地描述测试者在纸上画出的图(tu)形，还能根据测试者画出的表面(mian)猜(cai)测她绘制的是(shi)什(shi)么东西。

在另一个例子中，测试者给Gemini展示了一张煎蛋卷(juan)在平底(di)锅中烹饪的图(tu)片，并用语音询问(wen)煎蛋卷(juan)是(shi)否(fou)已经煮熟，Gemini也用语音回答(da)道：“还没有煮熟，由于鸡蛋还是(shi)液态的。”

看起来很(hen)新鲜，但(dan)Gemini真的如(ru)谷歌所(suo)言的全方位超越GPT-4吗？

没有见得。

基准的MMLU测试用于权衡AI模子在文本和图(tu)像的任务上的表现，包含阅读明(ming)白、大学数学以及物理、经济学和社会迷(mi)信中的多项挑选测验。谷歌CEO劈柴透露表现，在MMLU测试中，Gemini全面(mian)击败GPT4。对于纯文本问(wen)题(ti)，Gemini得分为90，人类专家得分为89。GPT-4得分为86；对于多模态问(wen)题(ti)，Gemini得分为59，而GPT-4得分为57。

圣达菲研(yan)究所(suo)的AI研(yan)究员(yuan)Melanie Mitchell对媒(mei)体透露表现，Gemini基准测试的表现令人印象深刻，这的确说明(ming)Gemini是(shi)一个异常复杂的野生智能系统，但(dan)她指(zhi)出，自己并没有明(ming)显感(gan)受(shou)到Gemini和GPT-4在实际本领(ling)上的差(cha)异。

Mitchell还指(zhi)出，Gemini在语言和代码(ma)基准测试上的表现要比在图(tu)像和视频上表现更好：

“多模态基础模子仍然(ran)有很(hen)长的路要走，才能在很(hen)多任务里任务大范围、靠得住地应用。”

“多模态基础模子仍然(ran)有很(hen)长的路要走，才能在很(hen)多任务里任务大范围、靠得住地应用。”

斯(si)坦福大学基础模子研(yan)究中心主任Percy Liang也对媒(mei)体透露表现，虽然(ran)Gemini具有优越的基准分数，但(dan)由于我们没有知道训练数据中的内容，很(hen)难(nan)知道如(ru)何表明(ming)这些数字。

Google DeepMind还称，在人类测试者的帮助下，Gemini减轻了幻觉(jue)涌现的频率，在回答(da)问(wen)题(ti)时(shi)已经变得更加准确，在被请(qing)求(qiu)时(shi)可以给出信源，并且没有会再遇到难(nan)回答(da)的问(wen)题(ti)时(shi)胡编乱造。

没有过，这一点异样需要谷歌公开更多半据，否(fou)则目前也很(hen)难(nan)去验证。

仓促(cu)上阵(zhen)

深度学习教父杰夫·辛顿（Geoffrey Hinton）在四月份脱离谷歌时(shi)对媒(mei)体透露表现

“谷歌一直异常审(shen)慎地向"大众发(fa)布AI产(chan)品，可能发(fa)生的好事太多了，谷歌没有想(xiang)毁了自己的荣誉。面(mian)临看似没有值得相信或没法贩卖的技术，谷歌采取了审(shen)慎的态度，因此(ci)错过了更关键的机会。”

“谷歌一直异常审(shen)慎地向"大众发(fa)布AI产(chan)品，可能发(fa)生的好事太多了，谷歌没有想(xiang)毁了自己的荣誉。面(mian)临看似没有值得相信或没法贩卖的技术，谷歌采取了审(shen)慎的态度，因此(ci)错过了更关键的机会。”

可能恰是(shi)由于认识到了这一点，以是(shi)谷歌在推进Gemini上线时(shi)异常发(fa)急。

Gemini最壮大的满血版(ban)Gemini Ultra，还需要等待几个月才能和"大众晤面(mian)。谷歌称，Ultra版(ban)目前只会供应给部分客户(hu)、开辟者、合作伙伴以及安全与责任专家利用。

有分析人士指(zhi)出，谷歌甚至自己也没有了解(jie)Gemini Ultra的全部新功效，也没无为Gemini制定出货币化战略。考虑到野生智能模子训练和推理的高昂本钱，谷歌可能需要很(hen)长时(shi)间才能想(xiang)出盈利计谋。

会没有会是(shi)谷歌的营销计谋导(dao)致了今天产(chan)品发(fa)布的失败？大概是(shi)吧。又大概，打造开始进的生成(cheng)式野生智能模子真的很(hen)难(nan)——纵然(ran)你重组了整个野生智能部分来加快进程，结果可能也没有尽善尽美。