Scaling Law的尽头是什么?|甲子引力X

最新新闻 2024-05-24 zxn123 79

Scaling Law的尽头是什么?|甲子引力X

大模型的“摩尔定律”。

2024年5月15日,由中国科技产业智库「甲子光年」主办、中关村东升科学城协办的「AI创生时代——2024甲子引力X科技产业新风向」大会在北京举办。

在当日下午举行的“AI技术范式的变革:Scaling Law的尽头是什么”圆桌环节,百度集团副总裁侯震宇、中国人民大学高瓴人工智能学院教授卢志武、清智资本创始合伙人张煜、新浪微博新技术研发负责人张俊林、RWKV元始智能COO罗璇与甲子光年高级分析师王艺一起探讨了Scaling Law的发展趋势。

Scaling Law是大模型的“摩尔定律”,它指引了大模型按照大算力、大参数、大数据的方向前行。但对于Scaling Law的发展前景,业内看法不一。

侯震宇坚定地支持Scaling Law,并认为至少在当前,Scaling Law仍然有效且潜力巨大。他还提到了摩尔定律和安迪-比尔定律,认为Scaling Law在AI领域也呈现出类似的效应,即算力的增长被算法和数据的需求所消耗。

卢志武表示有条件地支持Scaling Law,认为它在实现AGI方面可能不够充分。他提出可能需要更好的模型架构,并指出Transformer模型可能不是最终解决方案。卢志武还强调了商业化成功需要考虑更多因素,不仅仅是模型规模。

张煜认为Scaling Law在短期内是有效的,但长期来看可能会遇到极限。他通过比喻说明了Scaling Law的局限性,比如爬树无法到达月球,暗示了可能需要新的方法或技术突破。

张俊林将Scaling Law视为一个经验公式,认为它基于大量实验和数据。他觉得在当前阶段,Scaling Law是成立的,但随着时间的推移,可能会看到它的效果放缓。

罗璇非常相信Scaling Law,但指出Transformer架构的时间和空间复杂度问题导致算力和数据利用率低。他认为未来会有新算法提高数据和算力的效率,并提到了RWKV的架构可能代表了这种发展方向。

以下是本场圆桌的演讲实录,「甲子光年」整理删改:

1.Scaling Law在放缓

王艺 :围绕Scaling Law有很多的争议,有些人是坚定的信仰者,觉得只要堆数据、堆算力就能带领我们达到AGI;但是也有人认为你无限堆数据和算力并不能无限提升模型的性能,它其实会慢慢趋向于一个固定的值。你是Scaling Law的坚定信仰者吗?

侯震宇:我是。从我们的实践和国内外发表的论文中看,至少在当下Scaling Law肯定还是在在发挥作用的,而且我觉得潜力还很大。