第348章 饥不择食的META

华国古代有句谚语，叫“山中方七日，世上几千年”，尼兰詹现在的感觉和这句谚语差不多。

他简单洗漱一下就被带往了posing pre-trained transfoers for faster question answering》针对的就是transfoer-based qa模型的痛点-全层输入宽自注意力导致计算慢和内存高予以解决，我提出defoer，一个分解的transfoer变体。

在较低层，defoer用问题宽和段落宽自注意力替换全自注意力，避免问题和段落序列的交叉计算。

这允许独立处理输入文本，实现段落表示的预计算，从而大幅减少运行时计算。

defoer结构与transfoer相似，可直接用预训练权重初始化，并在qa数据集上微调。

我们的实验显示，defoer版本的bert和xlnet在qa任务上加速4.3倍以上，仅通过简单蒸馏损失损失1%准确率。”

尼兰詹说的是他2020年在acl会议上发表的论文，是当时l优化领域的经典工作，当时l流行的模型叫bert，这篇论文直接构建在预训练transfoer上，l的瓶颈，也就是计算成本，在下游任务中凸显，这篇则一定程度上提出了解决思路。

“包括我在2020年的另外一篇工作，其实和l的核心，也就是多层注意力有着类似的核心逻辑”

尼兰詹自然不是水货，他在人工智能领域确实浸淫多年，有不错的成果，手上有好几篇顶会文章，都和l有关。

那还是2020年，当时大模型还名不见经传呢，在人工智能领域属于边缘化的方向。

扎克伯格是花了很多冤枉钱，把脸书改eta错误估计了元宇宙的到来时间，但不代表他没脑子，单纯因为尼兰詹是林燃的教授，就找他来。

尼兰詹自己真有几把刷子，也是很重要的原因。

大模型里的关键工作，包括自注意力机制、多头注意力、位置编码这些，尼兰詹都有深入的研究，毕竟他研究的重要方向之一就是nlp。

扎克伯格欣喜过望，觉得自己找对人了。

“巴拉苏布拉马尼安教授，在训练l中，你是如何处理过拟合或者欠拟合问题呢？”

“大规模训练，预训练涉及在海量无标签数据上学习通用表示，我们可以通过掩码语言建模或下一句预测；另外微调在特定任务数据集上调整权重，实现迁移学习。

针对过拟合，我认为使用正则化和dut，比如说在bert变体中dut率0.1，并应用早停机制；欠拟合时，增加模型深度或数据增强。

在之前的项目中，我通过梯度裁剪处理训练不稳定，在glue基准上将过拟合率从15%降至5%，这能帮助大模型训练在多任务适应中更高效。”尼兰詹成竹在胸。

问这个，对我而言不是小意思？

扎克伯格后续又问了一些关于参数高效微调、多模态模型主要挑战、幻觉成因及缓解策略等问题，尼兰詹对答如流。

扎克伯格听完之后，确定自己找对人了。

对方被关在监狱一年多时间，出来还能侃侃而谈，追上最新进度，一眼就是大模型领域的先驱人才。

再者，对方还教出了伦道夫·林这样的顶级天才，对方能搞深红，我eta在巴拉苏布拉马尼安教授的带领下，搞个深蓝出来不过分吧？

扎克伯格本来就保持笑容的脸庞笑得更开心了：“巴拉苏布拉马尼安教授，欢迎你加eta，未来将由你担eta的首席科学家，带领我们一路前行。”

他按了下桌上的按钮eta的工作人员走了进来，拿来了一份合同，扎克伯格递到尼兰詹面前：“巴拉苏布拉马尼安教授，恭喜你，你将成为亿万富翁。”

尼兰詹拿起来一看，惊呆了，年薪一亿美元。

这个数字都让他有点不敢签了。

扎克伯格能把他捞出来，那肯定也能把他再送进去。

一亿美元的年薪，自己要是做不出东西来，到时候不会被关到死吧？

“老板，这个数字是不是太多了一些？”尼兰詹小心翼翼道。

扎克伯格也震惊了，居然还有印度裔会主动嫌工资太高eta印度裔高管一大把，印度裔的科学家也不在少数，都只会和他说我有多少多少贡献，暗示能不能加薪。

尼兰詹还是他见过第一个，觉得工资太高的印度裔。

“不，巴拉苏布拉马尼安教授，你放心，这个价码一点都不高。

你刚从监狱里出来，还不清楚这个世界最近这一年发生了什么。

你要知道发生了什么，你就会知道，这个数字很合理。”

扎克伯格说完之后，尼兰詹又粗略看了一遍，然后在合同上签下自己的名字。

扎克伯格面带笑意，和他握手拍照留念。

第二天eta官方就发表了对外公告：

“公司将任命知名人工智能专家尼兰詹·巴拉苏布拉马尼安教授为公司首席科学家，负责领导人工智能大模型的研究工作。

这一任命正值生成式预训练transfoer模型横空出世，引发全球ai革命之际eta致力于加速开源ai创新，推动更安全、更高效的ai技术发展。

尼兰詹·巴拉苏布拉马尼安教授目前任职于纽约州立大学石溪分校计算机科学系，拥有超过15年的自然语言处理（nlp）和机器学习研究经验。

他的开创性工作包括开发defoer框架，用于优化预训练transfoer模型在问题解答任务中的效率，以及探索事件表示和注意力机制在用户人格预测中的应用，这些成就已发表于顶级会议如acl和aaai，并被广泛引用。

教授的专长将助eta在lla系列大模型上的持续创新，确保ai技术在社交、元宇宙和全球连接中的应用更具包容性和可靠性。

作为首席科学家，巴拉苏布拉马尼安教授将领eta ai研究团队，聚焦于多模态模型优化、幻觉缓解和可持续计算等关键领域。他的加入标志eta在ai领域的战略投资进一步加强，旨在为全球用户提供更智能、更安全的数字体验。

关etaeta构建技术，帮助人们连接、发现社区并发展业务。通过我们的应用和服务，我们致力于让世界更紧密相连。”

扎克伯格随即发表脸书称：“在gpt模型开启ai新时代的当下，我们需要顶尖人才来引领开源ai的未来。

尼兰詹教授的深厚学术背景和实际创新能力，将帮助我们构建更高效、更负责任的大模型，推动人类与技术的和谐共进，我已经迫不及待想要和尼兰詹·巴拉苏布拉马尼安教授合作了！”

市场上更加关注的是尼兰詹另外一个身份，伦道夫·林的博士导师。

2022年11月eta才宣布将裁员11000名员工，2023年的3月中旬eta公司又宣布将再裁员1万人。

接连裁员，聚焦ai，降本增效eta对外放出的消息非常明确。

当天美股eta股价大涨超7个百分点，一家市值1800亿美元的公司，光是招募尼兰詹释放的信号就让他们的市值增加了100亿美元。

尼兰詹一百年的工资都有了。

尼兰詹回到家中才知道自己被关在监狱的这段时间，外界发生了什么。

“什么大模型成显学了，现在的科技巨头们动辄必提大模型？”

“gpt也太强了，我之前就觉得l这条路大有可为，果然如此。”

“我怎么感觉深红比gpt还要更好用啊？”

深红只开放了华国手机号注册，没有开放外网注册，采取的是和gpt类似的策略，只对特定区域开放。

因此国外用不了深红，但youtube和tik tok上到处都是深红的使用视频。

毕竟大把在华国的外国人和在国外留学的华国人，都会把这些分享到外网上。

简中互联网和外网确实存在一定程度上的隔离，但这种隔离非常薄，薄薄的一层纸。

外网的ai爱好者们，看着深红都要流口水了，这玩意免费，还比gpt看上去更好用。

gpt-4可是要收费的。

尼兰詹内心感受到了巨大的压力，gpt-4，他都不确定自己能不能搞定，更何况深红。