Scaling Law的尽头是什么？｜甲子引力X

大模型的“摩尔定律”。

2024年5月15日，由中国科技产业智库「甲子光年」主办、中关村东升科学城协办的「AI创生时代——2024甲子引力X科技产业新风向」大会在北京举办。

在当日下午举行的“AI技术范式的变革：Scaling Law的尽头是什么”圆桌环节，百度集团副总裁侯震宇、中国人民大学高瓴人工智能学院教授卢志武、清智资本创始合伙人张煜、新浪微博新技术研发负责人张俊林、RWKV元始智能COO罗璇与甲子光年高级分析师王艺一起探讨了Scaling Law的发展趋势。

Scaling Law是大模型的“摩尔定律”，它指引了大模型按照大算力、大参数、大数据的方向前行。但对于Scaling Law的发展前景，业内看法不一。

侯震宇坚定地支持Scaling Law，并认为至少在当前，Scaling Law仍然有效且潜力巨大。他还提到了摩尔定律和安迪-比尔定律，认为Scaling Law在AI领域也呈现出类似的效应，即算力的增长被算法和数据的需求所消耗。

卢志武表示有条件地支持Scaling Law，认为它在实现AGI方面可能不够充分。他提出可能需要更好的模型架构，并指出Transformer模型可能不是最终解决方案。卢志武还强调了商业化成功需要考虑更多因素，不仅仅是模型规模。

张煜认为Scaling Law在短期内是有效的，但长期来看可能会遇到极限。他通过比喻说明了Scaling Law的局限性，比如爬树无法到达月球，暗示了可能需要新的方法或技术突破。

张俊林将Scaling Law视为一个经验公式，认为它基于大量实验和数据。他觉得在当前阶段，Scaling Law是成立的，但随着时间的推移，可能会看到它的效果放缓。

罗璇非常相信Scaling Law，但指出Transformer架构的时间和空间复杂度问题导致算力和数据利用率低。他认为未来会有新算法提高数据和算力的效率，并提到了RWKV的架构可能代表了这种发展方向。

以下是本场圆桌的演讲实录，「甲子光年」整理删改：

1.Scaling Law在放缓

王艺 ：围绕Scaling Law有很多的争议，有些人是坚定的信仰者，觉得只要堆数据、堆算力就能带领我们达到AGI；但是也有人认为你无限堆数据和算力并不能无限提升模型的性能，它其实会慢慢趋向于一个固定的值。你是Scaling Law的坚定信仰者吗？

侯震宇：我是。从我们的实践和国内外发表的论文中看，至少在当下Scaling Law肯定还是在在发挥作用的，而且我觉得潜力还很大。