本站最新域名:m.ikbook8.com
老域名即将停用！

    林允宁手指翻飞,重写了底层的通信协议,“这叫模型并行。以后模型会越来越大,单卡的显存肯定扛不住,这是唯一的出路。”

    <font colorred>-->>（本章未完，请点击下一页继续阅读）</font>

    【请收藏，wjiwenxue.com 努力为你分享更多好看的小说】

    </div>< "https:">提供的《学霸的模拟器系统》 第248章 绝境中的ResNet（求订阅求月票）(第2/3页)

    半小时后,代码修改完成。

    &quot;--&quot;

    随着脚本运行,机柜里的显卡啸叫声瞬间拔高了一个八度,那是硅基芯片在极限负荷下的哀鸣。

    这一次,没有显存报错。数千个流处理器开始疯狂吞吐数据,机房里的温度直线上升,热浪滚滚而来。

    “跑起来了!”程新竹惊喜地喊道,擦了擦额角的汗珠,兴奋地脱掉了卫衣,露出了里面粉色的hellokitty短袖t恤衫。

    屏幕上的进度条开始移动。

    loss曲线开始生成。

    但是,仅仅过了几分钟,林允宁的脸色就变得比刚才更难看。

    那条代表模型误差的loss曲线,并没有像预期那样下降,反而在震荡了几次后,直接冲上了天际。

    紧接着,屏幕上跳出了一行行令人绝望的字符:

    loss:nn

    grdient:nn

    nn,非数。

    这意味着计算溢出了。

    梯度在几十层的反向传播中,要么消失成了零,要么爆炸成了无穷大。

    &quot;zett......&quot;

    林允宁盯着那些nn,感觉像是被嘲讽了一样。

    这不是硬件问题,这是算法的数学缺陷。

    随着网络层数的加深,每一层参数的微小变化,都会导致输出数据的分布发生剧烈偏移。

    这就好比是在打靶。

    第一层射偏了一点点,第二层又偏了一点点......

    到了第50层,那个偏差已经被放大了无数倍,子弹早就不知道飞到哪里去了。

    这叫“内部协变量偏移”。

    靶子一直在乱晃,枪手根本瞄不准。

    林允宁试着调低学习率,试着更换初始化方法,试着加各种正则化手段。

    没用。

    那个nn就像是个诅咒,顽固地霸占着屏幕。

    如果不解决这个问题,深层网络就是个不可训练的废品。

    时间一分一秒地过去。

    很快到了深夜两点。

    机房里的轰鸣声依旧,热得像蒸笼,但满头大汗的林允宁已经盯着那个nn看了整整两个小时。

    常规的方法已经试了个遍,他甚至尝试了梯度裁剪等等稀奇古怪的野路子。

    结果还是没有改进。

    只要层数一深,数据分布就会乱套。

    &quot;&quot;

    一杯冰咖啡放在了手边。

    程新竹
\/阅|读|模|式|内|容|加|载|不|完|整|，退出可阅读完整内容|点|击|屏|幕|中|间可|退|出|阅-读|模|式|.
『加入书签，方便阅读』
-->> 本章未完，点击下一页继续阅读(第3页/共5页)