“而且它们脑袋还有问题，我把这个问题叫做秩坍缩（rank colpse）。”
小黑那个圆球还化做一只小手指了指自己的“脑袋”。
简单的说这些大模型的脑子，就是拿注意力一层一层叠起来的。
在它脑子里，每一个字都不再是字，而是一串数字。
业内把管这串数字叫做“表示”（representation），专门用来装这个字的意思。
每过一层注意力，所有的字就拿着这串数字彼此掺和一回，你借我一点，我借你一点。
坏就坏在，要是只有这些注意力层，光这麽一层一层掺下去，每个字的那串数字，就会越掺越像。
掺着掺着，所有的字就都都变成了同一个模样，再也分不出谁是谁。
当然，这些大模型也有预防机制，一个叫“残差”（residual connection）。
一个叫“前馈层”（FFN）。
可就算这样，也没有从根上解决问题。
李东听得入了神。
这些东西，他先前压根没往这麽深的地方想过。
“还有个怪症，叫逆转诅咒。”
小黑一说起来简直就停不下来了……
它後面还说了组合性鸿沟和RLHF
一个是大模型碰上那种一环扣一环，得连推好几步才解得开的题，它根本没在“推”，只是把见过的套路硬往上套，稍微复杂点它就垮了。
另一个就是，本来是拿人的喜好把它调教得更听话，可越调它反倒越自负，明明心里没底，张口却是十分的笃定。
小黑说完这些一脸的嫌弃。
李东听到这儿，连带着也一起嫌弃起来了。
这些问题小黑好像都没有，还是小黑可爱。
不像这些大模型，很会唬人，而且还唬的像模像样。
说实话要是田钢用这些模型来搭建AI for Math。
李东都不敢想那些数学家会不会被哄成胎盘。
毕竟一般的学者真不一定有这些大模型厉害，所以它偷换概念的时候，他们分不清的。
这些被小黑一路看穿的毛病，单拎出哪一条，都够那些顶尖团队头疼上好一阵子。
可偏偏，这些放在小黑眼里，竟没有一样能难得住它。
李东的眼睛，慢慢亮了起来，於是朝着小黑说道。
“小黑你先玩儿着。”
“我这就去给你，换一间大一点的屋子。”
……
李东把电脑关掉，靠在椅背上，对着那片漆黑的屏幕，发了好一会儿呆。
说是给小黑换新家，可是有个问题。
他想起刘若传说的话……
这世上最顶尖的算力，和框架都在别人手里呀。
这种东西，光有钱砸不出来，还得有硬件那一边的门路才行。
“哎……又要麻烦别人了”
李东拿起手机拨出了一个号码。
……
魔都，华轩科技。
一间恒温恒湿的厂房里，里面的灯光还没有熄灭。
厂房里一尘不染的，几名穿着白色无尘服的工程师，正围着一台机器在做最後一轮的数据复核，谁也没怎麽出声。
隔着一层观察窗，林伟双手抱在胸前，一动不动地看着里面那台庞然大物。
这是他们新一代的浸没式光刻整机。
两年前，国威那台“启明”系列的国产浸没式整机落地的时候，也曾经在网上掀起过一阵风浪。
能把这麽一台顶尖的光刻整机，从里到外自己攒出来，本身就够让人振奋了。
可那对林伟他们来说，那事早就翻篇了，他们可不能停止不前。
眼前这台，比当年的“启明”又往前先进了一大截，这是冲着七纳米节点去的。
“林总。”
身旁一名技术员盯着控制屏，声音里带着掩饰不住的激动。
“最新一轮全片验证的数据，出来了。”
“双工件台的同步误差，整片压到了阈值以下。”
“套刻精度和焦面控制，从片心到片边，全程都死死咬在了设计指标上。”
“这台整机……过线了。”
观察窗里，机械臂正稳稳地托着一片晶圆，在两座工件台之间无声地交接。
林伟看了好几秒，才缓缓吐出一口气。
他这种人，是不大会把情绪挂在脸上的。
可这一刻，连他手都有些微微发抖。
这台整机一旦真站稳了，那就意味着它能磨出来下一代国产的AI加速器（AI accelerator）。
这两年外面那些大模型越堆越大，对算力的要求大得吓人。
可真正顶尖的那批芯片，华夏自己没有，而现在……华夏终於可以自己下场了。
虽然跟外面的比，他们手里这家夥还差着身位。
人家最顶尖的极紫外光刻（EUV），早就把芯片推到了2纳米节点上。
他们这台浸没式光刻（DUV）连同多重曝光，往极限里一点一点地逼，才把七纳米硬生生啃了下来，工艺更费，良率也更难看。
可这条路能不能走通，从来就不只看单颗芯片的成色。
单颗追不上，那就拿数量去填，成千上万颗加起来连成一片，靠着规模硬生生把那点差距给抹平了不少。
何况国内的电费便宜，电力又管够，这麽大一片的芯片也就喂得起。
这条路是真真切切，被他们走通了。
而且这条路能走到今天，里面离不开的还是……李东那套降维算法。
是那套算法解决了流热耦合实时控制。
林伟到现在都还记得，当年那个在华轩杯复赛卷子最後一问里，写下“双光束激光干涉无掩模光刻”方案的高中生。
时间一晃，竟也有两年了。
这些年，林伟在各种场合，没少听见这个名字。
数学、太阳物理，甚至医疗上他都听见过李东这个名字。
“你到底还藏着多少东西呀，李东——教授！”
想到这儿，林伟居然忍不住笑了起来。
就在这时，他西装口袋里的手机震懂了起来。
这个点这种场合，能打进来的电话，多半没什麽好事。
林伟皱了皱眉，腾出一只手，把手机摸了出来，正要挂断。
可当他的视线，扫过屏幕上那个名字时……
他的动作，停住了。
林伟转过头，冲身旁那名技术员说道。
“这边你先盯着，我接个电话。”
说完他推开厂房的门，快步走了出去。
“您好，李东教授？”
（记住本站网址，Ｗｗｗ．WX52．info，方便下次阅读，或且百度输入“ xs52 ”，就能进入本站）