"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着ai领域几年狂飙突进的scaling law，似乎正在走向尽头。
从gpt-3到gpt-4，从bert到palm，ai的进化史几乎就是一部算力竞赛史。但最近的发展却给这个故事带来了转折：claude 3在维持3.2b上下文的同时显著压缩了参数规模；anthropic的研究人员公开表示"更大的模型未必更好"；deepmind在近期论文中更是直指scaling law在逼近人类认知能力时可能存在根本性限制。当千亿参数、万亿tokens逐渐成为标配，简单的堆料堆算力似乎越来越难以带来质的飞跃。
这不禁让人思考：
是我们对scaling law的理解还不够深入？
还是这条路径本身就存在天花板？
基座大模型的下一个突破点究竟在哪？
我们特别挑选了一批在知乎活跃的ai领域答主的精彩回答，他们中既有来自科技公司的一线从业者，也有对ai发展长期关注并深度研究的技术博主。相信这些观点能为我们提供更多关于ai发展的思路与洞见。
本次讨论作为知乎「互联网破局者」系列活动的特别策划，以下为精选的答主回答，内容基于答主公开发布的观点进行整理。 更多精彩回答， 点击阅读原文 前往知乎查看硅星人的提问“scaling law要撞墙了吗？如何找到基座大模型的未来方向？”
1
@傅聪cong
作为一个ai从业者，个人观点“scaling law撞墙”，完全不是媒体吹得那么耸人听闻！它只是意味着——未来通用人工智能的发展路径应当适时地转向。
下面说说我的理由：“scaling law撞墙”的问题为什么引发了ai圈如此广泛的焦虑？
其实人们担心的问题，并不是一个实验观察规律失效与否的小问题，而是其背后可能存在的大模型效果进入瓶颈期的问题：如果大模型不能够继续”越大越好”了，那么openai先前抛出的未来大模型智商超过人类顶级水准的预言，可能无法实现。除了题主问题背景中的信息，更让人担心的消息是，号称ai圈“卓伟”的光头哥爆料：“猎户座”——大众认知的gpt-5——内测效果不能达到预期。类似的小道消息还包括anthropic的claude的新版本的效果也低于预期。就好比家里孩子初中升高中（gpt-3到gpt-3.5）、高中升大学（gpt-3.5到gpt-4）都很顺利，结果研究生却怎么都考不上了。
随之而来的，不仅仅是对技术发展的担忧，更严重的后果是投资的断流。显而易见的是，目前的llm经济就是一个砸钱的生意，钱没了就更不可能scaling下去了，所有的投资方都会给llm相关的企业和从业者施加更大的压力，并且更审慎地看待目前企业经由llm的盈利能力。说不好听的，llm行业可能会存在“大踩油门，大踩刹车”的泡沫危机！
说了这么多，咱也不能马后炮地怪“scaling law”的提出者当初咋不好好做实验。那么“scaling law”到底撞墙了嘛？
我们再来重新看看scaling law那张著名的图：
注意，这里的纵坐标是test loss。也就是说，所谓的scaling能力，是对准“测试损失”这个指标的，所以理性地讲，没有人承诺过，随着投入的数据、算力、参数的增加，模型的”智商“会线性提升。
接下来，我们来纠正两个阅读这张图的误区：
test loss和模型的能力目前来看并不存在一个线性相关的关系。恰恰相反，当test loss低到一定程度，人对于模型输出效果的好坏的感知能力会弱化。这件事情，我其实在我之前的一篇论文的讨论里聊到过： https://www.zhihu.com/question/599186065/answer/3019505570?utm_campaign=shareopn&utm_content=group3_myanswer&utm_medium=social&utm_psn=1858611794765025280
纵轴的坐标也是log scale的！这里画重点！在双log scale的坐标刻度设置下，这篇论文的研究者画出了很漂亮的一条接近直线的结果。也就是说，想要test loss线性下降，需要投入的算力、数据等资源成指数速度上升！
ok，问题的根源找到了。
那么寻找基座模型未来的短期内的方向，我们可以从以下两个方面入手：
首先！也是最重要的事情！就是回到原点！完善当前或寻找更好的评价体系。目前的评价体系，难以和人的认知对齐，也难以全面地评价大模型的能力。不完备的评价体系，不利于模型的良性迭代。也不利于构建良性的市场环境。就好比很多模型都号称自己在一些benchmark的表现上超过gpt-4，但给用户的体感，却并非那样。变相鼓励、培养出了一群cherry pickers。
探索其它的scaling type。除了“training phase scaling”，最近的研究和产品还展示出不同的scaling形态。例如multi-agent的scaling，不需要一个超级大模型，而是鼓励更多不同的专家小模型进行协作，强化“模块化”优势；以及“inference phase scaling”，给大模型更多的“思考”的时间以及更多的context信息，让它“找到”正确的答案，这也更符合类人智能驱动的设计方法论，毕竟我们人类解决复杂问题的时候主要通过“慢思考”系统来构建动态的解决路径，同时，也不需要把所有任务相关的信息都“预先”记忆到脑子里。就好比老板让你做一个ppt，你是不需要先背下来ppt的逐字讲稿，再进行绘图、设计的。
最后，虽然我必须承认技术发展的“惯性”——所有人都基于当前的transformer架构进行增量研究——存在一定的积极作用， 但我个人期待的通用人工智能，尤其是基座模型，应当是低能耗，更接近生物能的。
当前的这种范式，即便我们在前文所述的两个方面有所突破，也是不可持续的。
https://epoch.ai/blog/can-ai-scaling-continue-through-2030 这份调研报告指出，到2030年，按照scaling law去训练一个“gpt-6”所需的算力是充足的，但首先卡脖子的，很可能是电力资源。同时，届时训练一次gpt-6，需要上百亿美金，换个计量单位，卖掉我司都不够训练一次的，容错率是低的不能再低了......
希望到2030年，我们能找到更加可持续的通用人工智能的研发路径，一个让社会各界都能有参与度的方式，而不是现在这种资本通吃的局面。因为我相信，无论是针对这种技术的研发还是监督，都需要更广范围的合作。
1
@平凡
英伟达的黄仁勋在ces 2025上展示了一张ppt，标题为「从一种到三种scaling laws」，其纵坐标标注为智能程度（intelligence），强调了人工智能发展过程中三种关键的scaling laws：预训练（pre-training）、后训练（post-training）和测试时推理（test-time scaling）。
具体来说：
pre-training scaling（预训练）
这是ai模型训练的 初始阶段，以gpt早期模型为代表。特点是依赖超大规模神经网络和海量互联网数据，利用 无监督学习方法，通过预测下一个字符或词语进行训练。
智能程度：此阶段的训练目标是构建一个通用的语言模型，但输出结果相对基础，缺乏复杂的语境理解和逻辑推理能力。
局限性：虽然训练数据量庞大，但缺乏针对性的优化，模型表现的智能程度受到一定限制。
post-training scaling（后训练）
代表ai模型的 进化阶段，以chatgpt的原型为例。关键特性是通过 人类反馈的强化学习（rlhf）进一步对预训练模型进行优化和调整，以提高模型的交互能力和人类对齐度。它的训练方式是模型根据人类提供的反馈评分，优化其回答内容和风格，逐步具备更自然、更贴合人类表达习惯的语言能力。
智能程度：在这个阶段，ai模型不仅能生成流畅的文本，还能展现一定程度的创造性和逻辑推理能力，其天花板就是gpt-4o。
局限性：适合需要复杂对话和任务管理的场景，如智能客服、写作辅助和教育工具，但对于需要高强度推理以及复杂任务依旧不能胜任。
test-time scaling（测试时推理）
代表ai智能发展的 最新阶段，以chatgpt的o系列模型为例，专长于 推理和复杂任务处理。它的工作原理基于后训练模型，通过进一步细化任务执行流程，将复杂任务分解为多个可验证的小步骤（微推理模块），以提高成功率和准确性。采用 "用时间换空间"的策略，通过更高的计算资源和更长的推理时间换取任务完成率的显著提升。
智能程度：特别适合数学、物理和化学等需要逻辑分析与多步验证的问题，表现出更强的推理和决策能力。
局限性：这种模式的资源和时间成本较高，适用于对精度要求极高的应用场景。
可以看到，这三种scaling law带来的智能程度提升是非常显著的，可以侧面证明，scaling law短时间内不会失效，只是会通过另一种形式表现出来。
未来的ai还会继续朝着提升智能以及扩展应用边界的路子走下去，前者依旧需要大量的人类反馈数据，scaling才刚刚开始；后者需要更需要的agent的反馈数据，也才刚刚摸到门槛。
1
@桔了个仔
所谓scaling law，俗话说就是「力大砖飞」。scaling law指的是，模型性能随着模型参数量、数据量和算力的增加呈现的幂律关系。
不过，随着参数量的继续增加，互联网数据似乎不够用了ilya 在 neurips 2024 中提出的观点是「预训练即将结束」，原因是随着计算能力提升，互联网上的数据量并没有明显增长。
不过，无论如何，他讲的，其实只是在pre-train阶段遇到瓶颈。事实上，scaling law可以发生在不同的维度。
首先讲讲基座大模型如何继续保持scaling law。
合成数据（synthetic data)
其实这个思路是work的。例如sora就是使用了大量的合成数据，据说sora可能采用了ue5、unity的合成数据作为训练集。
但这个思路还是pre-train阶段提升方法，虽然喂合成数据应该也能提升模型性能，但个人认为其边际效应已经出现了明显递减。可能其他方案会更有性价比。
但合成数据有另一个好处，就是有助于alignment。具体可以参考@李rumor 这篇文章[1]。 https://www.zhihu.com/people/rumor-lee
反向scale
既然通过数据带来的边际提升不那么具有性价比了，那么是否可以尝试以更少参数实现同样效果？毕竟人类智能并不是纯粹靠数据的，人类的大脑就140-160亿神经元，况且还并非全部神经元都激活了。当然，大模型参数数量不能直接等价于人脑神经元数量，但有没一种可能，现在多数大模型都是「参数过剩」的？
其实这个想法，在2022年deepmind发表了一篇论文《training compute-optimal large language models》[2]中就被论述过。这个论文最重要的一个论点是： 现在所有大语言模型都是训练不充分（undertrained）的。
这个论文还训练了一个训练了700亿参数的模型 chinchilla，在许多下游任务上的性能显著超过了很多参数更大的模型，例如 gopher (2800亿), gpt-3 (1750亿) 等。
这篇论文让很多公司意识到，堆叠参数的性价比可能不高，优化训练集，优化训练方法，甚至提出新架构，都可能带来新的收益。
非transformer架构
很多非transformer架构，能以更少参数量实现同样效果。例如rwkv。例如 @peng bo 在这篇回答里介绍到 https://www.zhihu.com/question/6833253550/answer/55768424495，rwkv-7 0.1b参数的基座模型，而且还没做任何post-training，就能实现下面的效果
除了rwkv，其他非transformer架构还包括mamba，s4等等，它们都是采用用 recurrent（循环）结构去替代 attention。
以上都是从基座模型方向出发。除了基座模型，还有别的方向
强化学习的scaling law
o1的发布，让大家看到，通过强化学习（reinforcement learning），让大模型self-play，可以继续提升其推理能力。具体可以看 @张俊林 的这篇分析[3] https://www.zhihu.com/question/666992324/answer/3624700849
这个方向得到了很多ai公司的认可，例如qwen推出了qwq（我喜欢这个名字），deepseek推出了r1，天工大模型推出了skywork o1等等。估计是2025年最有价值的方向之一。
muiti agent的scaling law
例如@guohao li李国豪 在研究的方向[4]：multi agent系统的scaling law，会发现随着投入系统的agent数量增加，其表现出来的智能越来越强
大概就先写这么多，仅作为抛砖引玉。
1
@trisimo崔思莫
scaling laws当然没撞墙。
不能说我们突破不了光速，是狭义相对论撞墙了。
这种性能撞墙，恰恰就是scaling laws所预示的。
撞墙的是谁？就是数据，数据是最受制于物理世界的限制的。
参数不足？商用模型比如gpt-4o和sonnet的参数不足，可以吃更干净的蒸馏，吃合成数据，数据是喂不饱大参数母模型的，所以参数不是问题。
算力不足？现在暂时足了，算力的最终本质是电力，现在暂时有核电站的订单顶着。
1. 人工智能公司的“数据渴望”，已经达到了令人发指的程度。(不要以为公域数据枯竭，只是说说的而已，这帮已经输不起的资本家，无所不用其极。)
例子：anthropic的爬虫，爬了ifixit网站，一天爬了一百万次。就像你说：欢迎你来我家！结果，对方一天来了一百万次。艾麻，真是草！dario amodei天天搁那宣传“合成大法好”，结果把人家的窝都薅秃了。——这不是爬虫，这是蝗虫。
2. 算法带来的提升微弱，scaling laws主宰。本质上，神经网络是结构单调的，这种单调性使得优化算法没有太大空隙可以插入。暴力仍然是主宰，夯就完事了。为什么openai的gpt好用？数据，尤其是他们的后训练精华数据。
例子：我看了deepmind的研究科学家felix hill的心路自叙(这是我见过的文笔最好的ai研究员)，他坦言模型算法带来的提升非常微弱，但每天仍然需要面对它。我们不能说felix的抑郁自杀与这项工作的无力感直接相关，但很明显，这种推进极小的工作，加速了他的悲剧。假设算法带来的提升极大，那么felix一定能从工作中体验到振奋感。
3. 强化学习reasoning带来的范式转变，但仍然有限。rl reasoning在r什么东西？是一种思维方式，仅此而已？是的，仅此而已。他们没有在r知识本身，只是在r一种套路。
例子：gpt-5预训练遇到阻力，原因是缺乏足够的数据量和数据多样性，openai招募专业团队来为数学和代码题编写解答，同时再加上openai推理模型产生的数据。如果说，数据是足够的，或者说推理是万能的，openai何须此举？直觉先于推理，没有gpt形成的知识直觉，那么推理agent巧妇难为无米之炊。——也许openai未来会变成半个数据研发公司，是的，我说的是数据研发，挺可笑的吧。
以上是现在openai，anthropic，google御三家的情况，其他的公司面临的情况可能会更严峻。
未来的方向，如果未来是ai主导的世界，那么数据的采集和标注会是核心工作。
数据这个故事，不是已经达到了瓶颈，而在预示一个“后数据时代”。这会是一个观念革新的问题。一个面向真实场景的ai，它需要私域数据。也许未来的模型微调的公司，会把最大的精力放在为客户采集数据标注数据，数据即智能(一种低泛化性的智能)。我们是否要质疑通用模型的适应性？
1
@咸蛋
scaling的问题很多人没搞明白。
如果仔细测试模型就会发现，模型没办法解决未知问题，哪怕是推理模型，遇到未知问题本质上是在当前内容上做扩展，也就是，如果一个外部知识模型没有，那么它推理也是搞不定这个问题的。
现在很多人把这个上限归结为scaling的问题，我认为这是不对的，这个分为两个部分，一个是深度，一个是广度。
深度代表最强的o3，其实做题方面相当了得了，但是o1测试下来，很多模型缺乏的知识库内容，它依然会在错误的认知上进行推理，就是所谓幻觉，那么这个问题是scaling的问题吗？
我认为不是，核心点还是模型的知识库对齐问题，就是说模型无法解决这个问题，并非模型不会，而是它的底层认知和你要解决的问题有偏差。
也就是它理解的东西，其中某个环节，和你要工作完成的目标，有误解，同一个api名字，他用其他库的内容替代了，这就导致了模型的不健壮性，也就是所谓的性能瓶颈，随着模型数据越大，这种混淆实际上更严重了，同义词更多，权重模糊接近极限，中间的任何细微的知识混淆都会导致模型的整体推理步骤错误，所以感觉性能几乎无法提升了。
这就是scaling撞墙的本质，也就是说，数据质量卡死了scaling而不是数据规模。
那么一个面向所有人的通用模型，他的内部权重必然是均衡的，也就是说它不能对用户建立单独数据对齐，比如两个人工作环境不同，那么同一句话的意思可能就不同，你的9.11是数字，他的9.11是日期。
那么结果就会导致这种不健壮性，也就是说你不可能用提示词精确标注每个步骤的详细指代，那么这个东西的存在进到思维链，就必然导致推理过程的不健壮性。
也就是所谓的scaling失效问题，必须构建出更高质量的数据，才能提高模型的底层性能，而高质量数据的构建成本非常高，所以openai无奈只能采用强化微调，让模型自己生成推理链路，人类来修正的方法来构建增强的数据去训练gpt5，之前直接扩大数据规模的方法在gpt5上面失效了，也就是模型进一步扩大数据集和参数后，模型的知识广度提高了，深度则原地踏步，所以gpt5卡死两次不得已全部转向合成数据。
所以要想进一步提高模型的能力，这里我有一些想法，就是要实现对数据的深度清理，还有动态数据匹配。
第一个的意思就是，要挖掘数据标注的极限，一个优质数据，可以做数据增强实验，能否通过优化优质数据来提高分数，是一个非常值得研究的方向。
第二个则是让模型能够自主对齐用户，不是后训练方法，而是模型能够通过用户使用过程的反馈，自我反思推理调整模型输出内容，无法解决的内容可以请求用户帮助，把用户输入的外部知识进行内化，也就是所谓的成长型模型架构，不是固定权重的模型，模型能类似人一样反思，自我调整，类似自动化lora，实时强化微调的感觉，但是更轻量。
另外我还有一个非常有意思的想法，如果有研究大模型的大佬可以看看是否可行，就是把模型参数进行标注和预测标注，把模型权重数据和标注数据混合，做成一个可生育模型。
什么意思呢，就是做一个模型生成模型的大模型，这个模型的生成结果就是模型权重文件。
如果这个方向能有突破，可能是一个非常值得研究的方向，大模型自我生育，端到端的进化模型。
所以不用担心大模型没方向，方向多的很，ai远未撞墙。
在多位答主的深度探讨中，我们看到了对scaling law多维度的思考：从大模型演进的三阶段论，到test loss的本质剖析；从合成数据与反向scale的技术探索，到知识对齐与数据质量的创新思路；从数据瓶颈的深刻反思，到多智能体协作的未来展望。这些讨论揭示了一个关键事实：所谓的"瓶颈"，也许并非是scaling law本身的局限，而是我们对ai发展范式的认知需要跨越新的维度。
正如量子力学的发展最终突破了经典物理的藩篱，ai的下一次飞跃可能同样需要对根本范式的重新思考：从单一的参数规模扩张，到多维度的质量提升；从静态的知识存储，到动态的认知演进；从追求极致算力，到探索高效且可持续的架构。这不仅是技术路径的选择，更是ai发展哲学的反思。
值得深思的是，在这个临界点上，我们不应被"瓶颈"二字所困，而应将其视为一个契机——重新审视ai发展的根本命题，探索更富想象力的可能性。毕竟，正如人类认知的演进从未止步，ai的进化或许也正在酝酿着新的范式转移。
期待在评论区看到更多真知灼见。
| 偷窥美女wc露阴视频网址大全 | 6天前 |
| 欲望小说五月天激情 | |
| 嗯。不要。啊。太大了。啊 | 0天前 |
| 无翼乌无遮挡3d | |
| 东北肏屄 | 6天前 |
| 天美传媒mv高清免费观看完整 | |
| 老头老太太草逼网 | 3天前 |
| 淫荡黑丝护士 | |
| 国模吧小黎337p私拍 | 3天前 |
| 美女和男生插插插 | |
| 红裙大奶淫妻的第一次 | 1天前 |
| 亚洲v视频 | |
| 亲近相尾完整版在线观看 | 5天前 |
| 剧烈摇床不盖被子不打马赛克 | |
| 太快⋯太深了⋯快拔出来 | 6天前 |
| 探花乳交 | |
| 发骚娇喘啊啊 | 7天前 |
| 黑料网热门吃瓜独家报料155 | |
| 欧美激情视频图片小说 | 6天前 |
| 这个小美女很会挑逗快射视频 | |