“你们觉得,我们现在的优势是这几行代码吗?”
岑言话音一落,利昂和卢卡斯又愣住了。
不是吗?
“代码是死的,思维才是活的。”
“我们开源,就是要让全球的研究者、那些还在RNN里挣扎的工程师,用最快的速度拿到现成的新工具。”
“我们要让他们亲手验证‘仅用自注意力替代RNN’的思路是完全可行的。”
岑言的嘴角微微上扬。
当人做出了冲锋的决定时,就不会再去顾虑身后有什么东西。
“我们要用这套开源代码加速整个AI领域的时代迭代。”
“Transformer好用又免费,那罗伯特那套耗资惊人的12亿参数RNN模型就真的成了垃圾了。”
还真是。
但,这难道不是伤敌一千,自损八百吗?
“可时代迭代了,我们怎么办?”
利昂追问道。
他是真快急哭了。
他还指望着财富自由呢,如果只能名留青史,不能财富自由的话,那好像也有点亏啊!
“竞争?”
岑言笑了。
“我们根本就不和他们在同赛道竞争,T2T只是一个用来布道的展示品,我们在开源它的同时,也将全面弃用它。”
啥玩意?
弃用?
老大,这是我们刚做出来的东西啊!
众人更懵了。
如果不是岑言一直以来的表现还能让人信服,不然指不定要被送去宛平路600号。
“T2T只是一个基础,本身也不算我们的东西,毕竟是从TensorFlow发展的。”
岑言直接抛出了全新的技术方案。
0帧起手,最为致命。
“我们要转向Trax,它比TensorFlow原生环境更轻量,运行速度也更快,而且更能支持大规模序列模型的分布式计算。”
Trax?
那是什么?
岑言见众人一脸懵懂,继续解释道。
“而且,机器翻译和文本摘要,也只是Transformer最为基础的应用,我们接下来的研究路径,要全面转向打造Transformer的生成能力。”
“生成能力?”
卢卡斯喃喃道。
“自回归生成逻辑。”
岑言开始直接阐述这项技术的底层原理。
“我们不再满足于让模型把一种语言翻译成另一种语言,我要让模型去预测下一个Token。我们要用海量的无标注文本数据,去对模型进行无监督预训练,然后再针对特定任务进行微调。”
岑言描绘出那个近在咫尺的未来。
“我们要做的这套基于Transformer的生成式预训练模型,能回答问题和写文章,还能编写代码、进行逻辑推理。”
“我称之为生成式预训练变换器,Generative Pre-trained Transformer。”
“完成GPT的自由文本生成,才是真正意义上完成了通用人工智能的雏形。”
大家有点懂了。
开源,是为了给全世界制定规则,开启Transformer王朝,终结RNN时代。
而当所有人开始着手研究T2T的时候,他们已经站在下一个时代的起点,开始打造GPT自由文本生成模型。
绝对的超前,绝对的时代领先。
一步一步,紧扣时间。
“你真是个怪物。”
利昂看着岑言感慨道,他不焦虑了。
“我喜欢这个计划。”
“我想你们以后都会爱上这个决定。”
岑言笑了笑,手轻轻一摆。
“现在,大家去准备开源事项,还有公告,发布了,自然会有大儒为我们辩经。”
11月29日,早10点。
此时,距离罗伯特的AI前沿联合实验室全球发布会,只剩最后24小时。
同一时间。
学术圈被一则公告引爆。
公告就三行字。
【开源!】
【迭代!】
【面向全世界】
公告下方,附带着一个GitHub代码仓库的链接。
链接里包含了岑言他们论文中提及的所有模型代码、数据预处理脚本、分布式训练配置文件以及BLEU评估工具。
开源协议栏里,标注着不限制任何第三方重写与商用。
这种堪比朝廷发赈灾粮的大事,必然会在第一时间就出现病毒式的传播。
一时间,热议不止。
“我的天!开源了!我还在等着看NIPS呢?我比顶会更早摸到模型?”
“我刚刚拉了!通了!爽爽爽爽!”
“岑言万岁!晨星万岁!群星智能万岁!”
“岑言真的是个天才!他竟然愿意把这种级别的技术直接免费送给全世界!”
全球各大高校的实验室、科技公司的算法团队、甚至无数的个人开发者,全都在第一时间涌入GitHub。
仓库的Star数量在短短几个小时内突破了一万大关,Fork分叉数量呈指数级飙升。
所有人在跑通代码的那一刻,都意识到了一件事。
RNN,寄了。
开源代码直接终结了关于Transformer架构能否落地的所有质疑。
专家分析?
专家他懂个屁啊!他跑过代码吗?我跑过!专家都没我懂Transformer!我是Transformer最忠诚的信徒!
这种心态的个体户可不少。
而当这足以影响全球的技术开源发酵至初期高峰时。
罗伯特精心筹备的AI前沿联合实验室全球发布会也在曼哈顿正式召开。
他可是花了很多钱准备的。
会场内灯光璀璨,两百余家受邀的科技媒体架设好长枪短炮,红杉、先锋领航等顶尖投资机构的代表坐在前排的VIP席位上。
IBM和Facebook高管也在受邀之列,他们坐在罗伯特的身旁,低声交谈着。
发布会倒计时结束。
黑人rapper老哥那很吵闹的死动静结束后,大屏幕上浮现出AI前沿联合实验室宽阔的Logo。
哈里斯拿着麦克风上台。
他的眼神很是疲惫,但还是保持着笑容。
他毕竟是拿了钱的。
他已经想好了,赚完罗伯特这笔钱,他就收手跑路,以后再也不跟资本玩了。
但现在,他必须得站好最后一轮岗。
“女士们,先生们,欢迎来到人工智能的新纪元。”
哈里斯成了假笑男孩。
“今天,我非常荣幸地向大家展示,我们在序列建模领域取得的颠覆性成果。”
哈里斯一指屏幕。
【1.2 Billion Parameters】
ppt做得挺不错的,还有小字提醒,就是有点看不太清。
“基于深度优化的RNN架构,我们构建了拥有12亿参数的超级模型。它在理解上下文逻辑、处理复杂序列方面,达到了全新高度!”
台下一阵轰动。
然而就在哈里斯准备继续展示各项性能指标时,他发现这轰动似乎不是针对自己的介绍的。
因为台下前排几位投资人全部移开视线,纷纷低头看起了手机。
不仅是投资人,就连原本架着摄像机的几名科技媒体记者,也开始对着手机屏幕指指点点,交头接耳,会场里响起了一阵嗡嗡的议论声。
哈里斯有些不解,他提高了音量。
“各位,请看这组推理延迟数据,我们通过截断反向传播......”
“哈里斯先生!”
台下一名记者突然站起打断了哈里斯。
“抱歉打断您的展示,请问,您现在展示的这款基于RNN架构的模型在并行计算效率上和今天岑言团队开源的Transformer模型相比,有多大的差距?”
哈里斯愣在了台上,脸上原本就跟死了一百年一样的假笑更加僵硬。
“什么开源?”
哈里斯脑袋里炸了,头皮发麻。