“哈里斯,你去联系三名在循环神经网络领域有绝对权威的资深学者,给他们丰厚咨询费,安排他们去参加岑言的研讨会。”
哈里斯点点头,瞬间领会了罗伯特的意图。
他只是傲慢,不是蠢。
“明白,我会让他们在提问环节,针对自注意力机制在处理长序列时的容量问题,以及整体的计算复杂度缺陷发难。”
罗伯特满意地点点头,转头看向旁边那位公关团队的高管莎拉。
“莎拉,第二轮的狙击交给你,你去联系几个和我们有利益关联的科技向垂直领域的媒体也好,院校也好,还是企业。”
罗伯特斟酌道。
他觉得自己布局的样子帅呆了。
“评论口径要统一,就说Transformer模型虽然思路有些新意,但缺乏工程落地的价值,只是一个毫无实际用途的理论而已。在研讨会开始前,就要把他们定性下来。”
“他们会影响的不只是我们,我想其他人应该也很乐意跟我们完成这场合作。”
莎拉点了点头,她擅长这个。
“最后一轮的话,也是现在就可以开始实施的,他们团队里不是有两名谷歌的高级工程师吗?我们可以联合几家科技主流媒体内幕揭秘,指控中华学者岑言涉嫌抄袭谷歌实验室尚未公开的技术机密。”
莎拉一愣。
“抄袭谷歌?”
“是的。”
罗伯特也是个好为人师的,特别是在美女高管面前。
“我们只要暗示利昂和卢卡斯窃取了谷歌的技术,然后包装成岑言的成果去NIPS上骗取荣誉,不然没法解释他们刚从谷歌一出来,就能完成这种创新性的作品。”
罗伯特说着说着,放声大笑起来。
“完美,真是无懈可击的策略,我真是一个天才战略家。”
罗伯特很是自我陶醉地站起身,走到落地窗前,看着脚下的街景。
仿佛他就踏在云端。
罗伯特不再阴沉,他的表情自信的像个阳光开朗大男孩,抬起双指,轻轻扬了扬。
“去办吧。”
“我要让岑言知道,在资本制定的游戏规则里,他连上牌桌的资格都没有。”
而在他嘴里上不了牌桌的岑言正坐在台前看着代码日志。
他正在配合卢卡斯调试机器翻译Demo的各项参数。
“老板,模型的注意力权重矩阵在处理这些长句子的时候显存占用还是偏高......”
卢卡斯皱眉道。
岑言看那一排排不断变化的数据结果,脑海中突然闪过一个念头。
Transformer模型的核心优势在于并行计算,它将句子中的所有词汇同时进行矩阵运算,以此来获取全局的注意力权重。这种并行计算的数学特性,不仅仅适用于处理语言文本。
岑言打开另一台电脑,调用了晨星AI云平台,陷入沉思。
在传统的材料计算中,模拟成千上万个原子在不同温度和压力下的运动轨迹,需要耗费海量算力,因为每一个原子的受力情况,都受到周围所有其他原子的影响。
传统的算法只能通过循环迭代,一步一步地去计算每两个原子之间的相互作用力,这种计算方式,和循环神经网络处理句子的方式如出一辙,低效且耗时严重。
如果把原子看作是句子中的单词呢?
如果用自注意力机制的并行矩阵运算,来同时计算原子间的多体相互作用力呢?
岑言豁然开朗。
虽然他的思路有些跳脱,让一旁的卢卡斯有些没能跟上,不太清楚岑言想做什么。
可岑言的动作很快。
代码就像是刻在他的脑子里一样,套用优化一下,就可以初步使用。
他还调出传统的计算程序作为对照组,同时运行了相同规模的原子模拟任务。
卢卡斯在一旁呆呆地看着。
看着岑言在捣鼓着和项目无关的东西。
一直到基于Transformer架构新机制的模拟程序率先弹出了运算完成的提示。
而那边的原版程序,才仅仅40%。
虽然这样的测试并不客观。
因为测试量也小,甚至框架的调整也不大,新架构是很占优势的。
可最终数据相差无几。
这让岑言的设想有了可行性。
Transformer架构强大的并行计算能力和全局特征捕捉能力,完全可以优先应用到晨星AI云平台上。
方向一下子明朗了起来。
岑言立刻打开自己正在准备的NIPS主题演讲稿文档。
他毫不犹豫地新增了一个板块。
【自注意力机制在凝聚态物理计算中的跨学科应用】
你们不是说我跨界吗?
那我就跨界给你们看。
岑言正在这里玩得起兴。
那边利昂突然推门进来,大喊大叫。
“老板!老板!跑完了!最终的测试结果出来了!”
利昂激动地冲到岑言面前,把一份刚刚生成的测试报告展示在屏幕上。
“我们在WMT 2014英德翻译数据集上完成了首个基于Transformer架构的完整Demo测试,参数规模设定在6500万。”
卢卡斯在一旁挑了挑眉。
这不是我的活吗?怎么我跟老板过来聊一会,你就把我的活干完了?
利昂双手紧握着拳头,语速极快。
“老板,你绝对猜不到我们的BLEU评分是多少!”
“28.4分!我们直接拿到了28.4分!”
岑言听到这个分数,脸上也露出了满意的笑容。
在机器翻译领域,BLEU评分是衡量翻译准确率的绝对标准。
“谷歌最新公布的那个LSTM集成模型,评分是多少来着?”
岑言明知故问。
“24.6分!”
利昂大声回答。
“我们在单模型参数量远小于他们的情况下,翻译准确率直接超越了他们最新架构的30%!而且,得益于并行计算,我们的单句推理速度比他们快了整整32%!”
后面几名实习生听到数据也纷纷围了过来。
超越谷歌。
超越目前世界上最强大的深度学习实验室。
而且是在准确率和速度上的双重碾压。
利昂和卢卡斯对视一眼,笑了。
有这样的基础打底。
还担心没有机会吗?
这可是实打实的落地应用。
是所有巨头们最期望能够看到的实用转化和具备商业化价值的东西。
就在他们还在消化这样的愉悦时。
大洋彼岸。
罗伯特精心策划的舆论攻势也开始了。
北美知名的科技论坛Hacker News上,一篇名为《中国学者的“创新”:是天才突破,还是谷歌技术的拙劣窃取?》的帖子被顶上了首页。
帖子中详细列出了利昂和卢卡斯的谷歌工作背景,用大量似是而非的推测,暗示晨星实验室目前提交申请NIPS的Transformer架构直接抄袭了谷歌内部正在研发的未公开项目。
推特上,也开始出现了一些锐评。
这些评论将Transformer模型贬低得一无是处。
“完全没有考虑长序列显存爆炸的问题。”
“缺乏工程落地价值的小孩理论。”
“哗众取宠的跨界闹剧。”
这些负面言论迅速被国内的科技自媒体搬运回国内,在知乎、微博等平台上引发了热烈讨论。
一时之间,网络上充斥着质疑声。
不过这种质疑声也是老生常谈了。
在国内的反响倒是不大。
大家经过那么多次的反转打脸,现在也学乖了,对于岑言大家还是信任的。
只不过他们倒是开始剖析为什么北美会发生这样的讨论,研究背后到底有什么样的故事。
算力中心。
利昂和卢卡斯脸色跟吞了三斤便便一样。
“这群混蛋!谷歌内部根本就没有类似的项目,他们这是在公然诽谤我们!”
利昂有些抓狂地挠头。
“老板,我们不管他们吗?”
卢卡斯也十分气愤。
“他们用这样下三滥的手段,真的恶心,我个人是觉得可以官方辟谣。”
“不过具体怎么做,还是看老板你。”
面对众人焦急的情绪,岑言则是稳坐泰山,还在那里划平板。。
根本没有半点火烧眉毛的焦急感。
他划动屏幕,左看看,右看看。