< "https:">提供的《学霸的模拟器系统》 第204章 科瓦利斯预言（求订阅求月票）(第1/2页)
希尔顿酒店的行政套房里,浓重的雪茄烟雾在昏黄的落地灯光下盘旋。
这里没有闪光灯,没有记者,只有几个即使在2007年。也足以让硅谷地震的大脑。
杰弗里?辛顿坐在正中央的皮沙发上,手里的烟斗明明灭灭。
他没有问那些关于o复杂度的工程细节,而是透过烟雾,抛出了一个近乎哲学的问题:
“年轻人,你究竟看到了多远的未来?”
林允宁没有立刻回答。
他走到房间一侧的白板前,拿起黑色的记号笔。
但他没有画那个大家熟知的,层层堆叠的神经网络结构图,也没有画反向传播的梯度链。
他在白板上画了一个扭曲的圆圈??一个莫比乌斯环。
“辛顿教授,我认为深度学习的未来,不在于‘深度’。
林允宁转过身,笔尖点在那个扭曲的环上,“而在于‘流形’。"
房间里响起了一阵衣料摩擦的细微声响。
杨立昆原本抱在胸前的手臂放了下来,眼镜后的目光变得锐利。
“现在的神经网络,本质上是在做盲人摸象。”
林允宁的声音平静而清晰,“我们通过堆砌几百层参数,试图用暴力的算力去拟合数据。但这就像是用无数个小平面去拼凑一个地球仪。
“但我看到的未来,是让网络学会‘看’数据的形状。数据不是散落在高维空间里的沙子,它们是铺在一张张卷曲的、复杂的流形表面上的。
“听起来很浪漫。”
角落里,一位穿着深灰色西装的中年人开口了。
埃里克?霍维茨,微软研究院的首席科学家。
他的语气里,带着典型的工业界务实。
“但林先生,恕我直言,几何学救不了现在的i。在小样本数据上,有着严格数学证明的支持向量机和贝叶斯网络依然吊打神经网络。sv是可解释的,我有完美的超平面。而你的‘流形,听起来更像是一种不可解
释的玄学。
“如果你还在迷信超平面,那你已经被时代抛弃了。”
还没等林允宁说话,杨立昆先跳了出来。
这位有着浓重法国口音的n之父,性格和他的算法一样直来直去,“在高维图像数据面前,你的超平面就是一张废纸。世界是局部的,pixel和pixel之间的关系是几何的,不是统计的!”
“而且,数据的规模正在发生质变。”
坐在沙发另一侧的一位年轻亚裔女性插话道。
刚刚加入普林斯顿的李飞飞推了推眼镜,语速很快:
“我们正在普林斯顿构建一个名为i的项目。当数据量达到千万级别时,传统的统计学习方法会因为算力瓶颈而崩溃。林先生那个o的算法,可能是唯一能吃下这些数据的解药。”
争论在小小的房间里升温。
这就是2007年的i界。
混沌、分裂。
旧秩序尚未崩塌,新王还未登基。
“笃、笃。”
辛顿用烟斗轻轻敲了敲烟灰缸,清脆的声音让房间重新安静下来。
“哲学讨论到此为止。”
老人的目光穿透烟雾,死死盯着林允宁,“林,光有漂亮的几何概念是不够的。你需要展示你的‘魔法’是如何运作的。在这个流形上,你打算怎么走路?”
林允宁笑了笑。
他回过身,擦掉了那个莫比乌斯环。
在这一刻,他的脑海中闪过的不是枯燥的代码,也不是复杂的线性代数。
而是那天午后,在内维尔市的“圣马丁”养老院里,那位患有阿?海默症的老教授。
记忆已经破碎,逻辑已经崩塌。
但当爵士乐的鼓点响起,那根枯瘦的手指依然能精准地敲击在每一个切分音上。
那是超越了语义的、大脑最底层的拓扑结构。
记忆可以破碎,但连接的模式永存。
林允宁在白板上写下了一个简洁到令人发指的公式:
x_x_t+ttention
“这就是行走的方式。”
林允宁指着公式中的加号,“这叫残差连接。我们保留原始的信息xt??那是数据的本体。”
然后,他指着后面那一项:
“再加上注意力机制。这不是在做分类,而是在做‘自适应曲率变换’。网络在海量的信息流形中,通过注意力去感知哪里是平坦的,哪里是卷曲的,然后动态地调整自己的形状去贴合数据。”
房间里死一般的寂静。
刚才还在敲击键盘记录的杰夫?迪恩,手指悬停在了半空中。
蒙特利尔大学的本吉奥微张着嘴,眼镜滑到了鼻尖。
他们都是绝顶聪明的人。
林允宁不需要解释太多,他们一眼就看穿了这个公式背后的恐怖野心。
林允宁转过身,面对着这群即将掌握着全球人工智能命脉的大佬们,说出了那个后来被学术界称为“科瓦利斯预言”的论断:
“未来的模型,不再是针对特定任务训练的‘专家’。我们不需要专门训练一个翻译模型,也不需要专门训练一个分类模型。
“它将是通用的。
“它会通过’自监督学习,像人类婴儿一样,通过阅读海量的文本、看海量的图片,通过“完形填空”来学习世界的表征。
“而实现这一点的核心,就是注意力机制。它不是一种技巧,它是智能的本质??它是在海量信息流形中,寻找并锁定那些关键拓扑结构的能力。”
杰夫?迪恩合上了那台厚重的笔记本电脑。
“咔哒”一声,在寂静的房间里显得格外刺耳。
这位google的工程之神站起身,整理了一下格子衬衫的下摆,走到了林允宁面前。
“林先生,googlebr正在组建一个新的团队。”
迪恩没有说废话,直接抛出了底牌,“我们需要你,还有你的整个团队。
“你可以保留以太动力的独立性,作为google内部的独立实验室。我们可以提供你无法想象的算力??google全球的数据中心,只要你一声令下,所有的tpu和gpu都为你运转。
“至于签字费......”
迪恩伸出了五根手指,“两千万美金。这只是给个人的。”
房间里的空气仿佛凝固了。
两千万美金。
对于一个大二学生,对
\/阅|读|模|式|内|容|加|载|不|完|整|，退出可阅读完整内容|点|击|屏|幕|中|间可|退|出|阅-读|模|式|.
『加入书签，方便阅读』
-->> 本章未完，点击下一页继续阅读(第1页/共2页)