对于陆奇这样一个人,基金会像是有点大材小用,更重要的是,他本人很可能并不愿意这样的位置。
俞兴有这样的预期,而出面邀请的吴恩达就更是觉得不可能了。
不过,吴恩达就是请人,没有流露出俞总的设想。
至于陆奇,他这次来临港,真就以为俞总是要劝说自己加盟碳硅系,也在考虑适合的方向,但总体上是有些意愿的。
所以,陆奇一路上与吴恩达说说笑笑,又难免提到近期真假ZR与大恒的传闻。
吴恩达私底下没有弯弯绕绕:“肯定就是俞总干的呗,国内擅长这个东西的还有谁?”
他又笑道:“我要是过山峰,我也那么做,嗯,但我要是大恒,我也得急。”
陆奇说道:“你两边都不是啊。”
吴恩达嘿然:“是啊,所以,我就看看乐子,看看最后到底是谁对,不过,从现在的局面来看,俞总可能又又又要对了。”
陆奇轻轻点了点头,虽然不熟悉大恒的运作,但它明显越来越窘迫。
两人又聊了聊深度学习的最新进展,等到即将抵达碳硅集团总裁办,话题已经变成脸书对Mus的百亿收购。
陆奇在章阳煦的引领下,想着临港这里或许就是自己以后办公的地方,忽然冒出一个念头,这边茶余饭后的话题肯定是不缺的。
上午十点钟,两位百度前高管见到了碳硅掌门人。
俞兴表示了热烈的欢迎,但也很快高效率的把话题转到最实际的方向。
“陆总,DLF基金会与我都很看好自注意力机制在深度学习领域的突破,DLF要进行更大规模的融资与投入,整个架构也必须符合它的体量,我很希望你能担任DLF的负责人。”
陆奇听到来自碳硅掌门人的正式邀请,整个人懵了好几秒,随即才在看了吴恩达一眼后有些哭笑不得的说道:“DLF基金会的负责人?DLF的总裁?俞总,你这……”
他觉得这简直是在开玩笑。
陆奇从百度离开之后虽然没有寻找下家,但也没闲着,既看好碳硅在国内的发展,也觉Mus的海外开拓具有挑战性,甚至,这次过来也有伏低做小的心理预期。
可是,DLF基金会能干什么?自己能跟着这帮科学家干什么?
陆奇低着想了想,体面的说道:“俞总,你这个邀请让我有点意外,但我确实已经有其它的计划。”
俞兴追问道:“陆总,你有什么计划呢?”
陆奇含糊道:“在公司久了,也想看看不同行业的前景。”
他好歹曾经是世界巨头和国内巨头前面有数的高管,人家碳硅没邀请自己,那也不至于硬往上贴。
“陆总,既然这样,DLF所代表的深度学习就是未来发展最快的行业,我不是想轻慢陆总,是真的觉得这一块格外重要,只有你这样的人主导运作,才能让基金会加速发展。”俞兴直接把可能存在的期待错位点了出来。
陆奇见俞总这么说,也不否认,问了个和这套说辞最不相符的问题,似笑非笑的说道:“俞总既然这么看好深度学习,不如就让碳硅直接并购DLF,全力让碳硅系推动它的发展便是。”
要是真如俞总所说那样重视,那就应该让碳硅系押上去,而不是搞这么一个非盈利组织。
陆奇在百度时就很看好AI的发展,想让公司往这个方向努力,但是,这并不意味着他认可DLF基金会这种运作的模式。
碳硅数据公司里有着大把资源,真重视就是把资源拿出来推动才对。
俞兴能听明白陆奇话里的意味,先肯定了对方的说法:“是的,陆总,我看好,并且,碳硅系也会在深度学习领域投入资源。”
然后,他解释道:“但是,陆总,深度学习的未来还没那么清晰,公司投入是一回事,你们做DLF又是一回事。”
陆奇不信任这种说辞,腹诽基本就写在脸上:“那请俞总给我上上课了。”
“陆总在百度当了总裁,也试图对百度进行改革,确实出现过一阵的成效,但最终还是从那边离开。”俞兴用对方的经历作为例子,“陆总,战略再好,执行不下去都是空的啊。”
陆奇皱了皱眉,百度真是自己一段失败的经历。
“一家大公司的业务体系都是已经成型的,就是因为认可深度学习的重要性,我才担心只在碳硅系里做不出最好的效果。”俞兴认真的说道,“就好像百度,它的搜索业务有着很大的包袱,整个公司都围绕着搜索变现的框架进行建设,那些销售团队、代理商和广告主全部都是利益相关的。”
“你在那边改革就得面对这些人的反扑,你再怎么想推动AI,原有利益的人不愿意执行,那又能怎么样呢?”
“碳硅数据的包袱不至于那么大,但它的结构也不是围绕深度学习建的,而DLF不一样,它从一开始就是奔着ALL IN AI的目标。”
陆奇听到这里,又看了看吴恩达。
他确实是因为向海龙那帮人的利益反扑而被废弃了改革,百度的变化就好像昙花一现,这种组织架构上的因素真的体会颇深。
“陆总,克里斯坦森有一本《创新者的窘境》,我没事的时候经常会翻。”俞兴说道,“他觉得大公司不是笨,只是资源配置的过程就存在问题,新业务容易没有利润,老业务的人和资源又总是有更大的声音,就算是我要往下推动变化,也同样是落实在人的上面。”
俞兴就算有三头六臂,他能直接管理几个人?
更多的战略和业务都得依靠中高层去落实,而涉及到不同部门就依旧存在利益分配的问题。
所以,碳硅不是不做,内部依然会做,但外部的DLF没准效果还更好。
陆奇听到俞总这番话,是真的深有同感了。
他在百度就是三个字,推不动。
如俞总所言,碳硅数据的大公司病可能不会那么重,但依着抖音的高速发展,它围绕短视频的利益也会快速扩大,仍然会出现桎梏。
陆奇把这话听进去了,转而有点佩服的说道:“俞总倒是不怕浪费,还想在外部做出一个竞争的DLF?”
俞兴点点头:“单纯靠深度学习的远景还是比较难的,这边是本身业务的引力,那边是看不清方向的引力,哪边的引力大就不用说了。”
“我确实考虑过把DLF并购过来,但思来想去,有竞争才有进步,DLF的开源是对整个行业都有利的事情,是可以继续尝试下去的。”
陆奇思考一会,忽然笑道:“我看过克里斯坦森的书,他还有一本《创新者的解答》,说是要进行破坏性创新,要搞独立的团队,用独立的成本和标准以及决策来做创新,俞总和他不谋而合了啊。”
俞兴“嗯”了一声,说道:“是啊,我觉得可以先烧烧别人的钱,碳硅数据这边最近也挺需要用钱。”
旁边一直没出声的吴恩达冷不丁听到这句:“oi……”
陆奇看着面前的俞总,同样真实的说道:“我对DLF不太感兴趣,但我完全能理解俞总的考虑,这个事得让我再想想,或者,俞总,你还有什么能游说我的理由?”
俞兴用了三秒钟就找到一个理由:“陆总,深度学习的发展很可能就是在吞噬百度搜索的未来。”
陆奇释然的笑了笑:“第一,俞总,我其实并不恨百度,第二,DLF基金会要给我一个全面的规划才能让我点头。”
俞兴起身伸出了手,解释道:“陆总,我也不恨它啊。”
吴恩达在旁嘀咕了句:“俞总,我有时候觉得你对所有大公司都存在敌意。”
俞兴摇头,纠正道:“也许是大公司们对我有敌意。”
吴恩达认为俞总的心态确实是很开朗了。
? 879 通用模型(4k)
陆奇有被碳硅掌门人扭转了意愿上的方向,但他距离真正加入DLF基金会还有一个重要的前提需要弄清楚。
这次的自注意力机制为什么值得俞总这么大费周章?
换句话说,Transformer真的展现出颠覆级别的潜力了?
陆奇不是深度学习领域的研究者,但也一直在关心这个领域的进展,对于这次的Transformer也有了解,知道它展现出了机器翻译领域新一代SOTA技术的定位潜力。
所谓SOTA,State of the Art,也就是业界所说的最强水平。
问题在于,仅仅是机器翻译领域,这值得俞总又是要内部推动,又是要外部竞争,还不惜让吴恩达拉自己过来吗?
陆奇在百度的时候就已经要推动公司ALL IN AI,彼时还没有Transformer,而之所以那时就要把战略定在这个领域,是因为全球顶级公司几乎已经取得共识,AI会是互联网之后的下一代通用技术革命,会重构所有的行业。
谷歌2011年成立“谷歌大脑”,次年收购DeepMind,至今已经把深度学习广泛应用在搜索、安卓、翻译等上百个产品之中,微软2013年大规模转向Ai,旗下Office、语音等产品都已经完成深度学习改造,脸书则在2013年邀请杨立昆组建FAIR,全面布局视觉和语言以及推荐系统。
作为曾经的微软执行副总裁,陆奇本身就是这波深度学习发展浪潮里的亲历者和推动者,认同的是俞总对深度学习的战略重视,不解的是他选择重视的节点。
但是,陆奇对于俞总这种不见兔子不撒鹰的态度也在彼此短暂的交流里有种合适的猜想,DLF这边已经就着Transformer搞出了东西。
他握了手,现在就需要俞总把真家伙端出来了。
吴恩达干的就是这个活。
他在两人虚情假意之后给出来自DLF没有对外公布的判断:“Transformer不单单是机器翻译,它在自然语言处理NLP方面展现了现在远远没有挖掘出来的庞大潜力。”
吴恩达看着陆奇,用眼神表达严肃:“陆总,我们认为,Transformer在自然语言方面有成为通用模型的可能性。”
自然语言处理NLP,这个领域一直是深度学习研究的重点,是为了让计算机能够听懂人话,也能说出来人话。
NLP之前基本是每个任务单独设计模型,再单独训练,很依赖大量标注数据,不同任务之间的技术栈并不通用,也就是导致研发进展很缓慢。
通用模型意味着只用Transformer就能快速适配不同的任务。
以前是很多模型干不同方向的活,现在是用一个Transformer做不同方向的活,意义自然完全不同,如果能够继续推动,许多设想中的场面都可能会实现。
陆奇不用吴恩达多解释就知道这种判断的意义,但他的第一反应是十分怀疑:“通用模型?Transformer?这个判断是怎么得出来的?”
“我们基于Transformer做了一个模型,用它去做NLP的能力测试,它在GLUE的9个任务里已经有5个达到SOTA,这还只是我们的初步尝试。”吴恩达说道,“另外,它在机器阅读理解的2个任务里也拿到了高分。”
GLUE是目前业内公认的NLP通用能力评测,包含9个不同类型的语言理解任务,而机器阅读理解也是NLP领域最受关注的任务之一。
吴恩达拿出了平板,展示具体的模型处理效果,过去需要不同模型的任务在基于Transformer的模型测试里拿到5项最优,剩下4项也接近最优。
在机器阅读理解的2个任务里,模型的F1值拿到89分,超越了人类平均水平的87.9分。
吴恩达时刻注意着陆奇的视线和浏览,等到他看到机器阅读理解这部分,不轻不重的说了句:“这是大模型在机器阅读领域第一次超过人类在通用数据集的表现。”
陆奇沉默了。
俞兴这时提到一个关键的问题:“这还是他们在很短时间里的成果,从去年到现在,从机器翻译领域转到NLP领域,也就不到4个月的时间。”
“这4个月,这11个任务里大部分的提升幅度已经相当于业内过去三到五年的总和。”
“啧,就这个情况,时间再多点,恐怕11个任务都能达到SOTA。”
全球业内数年的提升在过去四个月时间里被基于Transformer的模型做到了。
这些正是吴恩达发起联名信的底气,他有信心可以进一步推动新模型的发展,至于到底能不能成为NLP通用大模型,谨慎的说,需要进一步验证。
从感性与直觉来看,吴恩达认为就是这个了。
陆奇翻来覆去的看着平板上的测试展示,颇有些抓耳挠腮。
他看了好一会,猛然抬头问道:“这是真的?没有造假?”
吴恩达举手发誓:“我用我的人格担保,这就是最真实的情况。”
俞兴笑了句:“我是最见不了造假的,也没有在这方面造假的意义,总不能是编个大谎,就为把你骗过来吧?”
陆奇长长的呼了一口气,喃喃道:“要是这样……”
要是这样,下一代产业革命真要来了吗?
他从微软回国时,硅谷科技圈的主流判断是如今处于产业变革的前夜,AI会是下一个时代最重要的突破,深度学习已经证明它可以解决一些复杂的决策类问题,这也是特斯拉自动驾驶和工业控制等领域具备想象空间的基础。
可是,这会出现在致力于机器翻译领域进步而推出的Transformer吗?
陆奇很难相信,但面前的经典NLP任务表现又让他不得不相信,确实有这个潜力。
他一会摇头,一会点头,末了看向倒茶的俞总,问道:“俞总,碳硅集团的智能驾驶也有这方面的推进吗?”
俞兴愣了下,摇头道:“没有,还没那么快,但这确实会是一个新能源产品快速发展的领域,也能增加市场里的竞争力,不过,我们造车不一样,这方面要更加谨慎。”
陆奇只是受到的冲击太大,同时又想到了之前百度在做的自动驾驶研究,情不自禁就对如今国内的新能源领军人物问出这样的问题。
他听到俞总的回答之后也反应过来,这方面的推进没有那么快,不会像大模型做任务这样快速拿到成绩。
陆奇终究还是放下了平板,沉思一会后感叹道:“这个东西要是发出来会让大家都震动的!”
俞兴点点头:“嗯,但我觉得谷歌他们可能也在这方面研究了,新的机制放在这里,NLP任务放在那里,很难不一起研究尝试。”
“其实,我们车上的语音功能就是来自深度学习的研究,那个是卷积神经网络,今年应该就能考虑切换到Transformer,没准是它最先落地的一个商业领域。”
陆奇没有立即说话,低头沉思了一会,冒出来一个问题:“百度怎么办……”