这项由Hexo Labs（好意思国帕洛阿尔托、比利时布鲁塞尔、加拿大多伦多三地团队团结）及英国牛津大学共同完成的酌量，以预印本质式发布于arXiv平台，论文编号为arXiv:2605.27276，最新版块于2026年5月28日更新。

---

一、AI进化的"瓶颈"——为什么东谈主类成了最大的阻挠？

每当咱们谈到东谈主工智能越来越浩瀚，背后其实有一个很少被说起的前提：这些AI系统的每一次高出，果然都离不开东谈主类工程师和酌量东谈主员的切身介入。从当先查验模子，到调节参数，再到搭建各样外围器用，东谈主类一直是所有这个词经由里无法不详的关节。不错打个比喻，面前的AI就像一个资质极高的学生，但这个学生每次想要进步我方，都需要针织手把手地帮他修改学习狡计、更换讲义、调节作息——学生我方无法孤立完成"自我升级"。

这种对东谈主类干涉的依赖，恰是现时AI规模最中枢的"瓶颈"之一。Hexo Labs的酌量团队意志到，要是能让AI系统在给定一个任务描摹和一个评判圭臬之后，自行决定怎样改善我方——既不错调节外部的"操作手册"，又不错修改里面的"念念维格式"——那将是一次信得过道理道理上的冲突。SIA（Self Improving AI with Harness & Weight Updates，即"带有器用链和权重更新的自我创新AI"）恰是这一设计的具体遣散。

---

二、两条互不相交的酌量道路——各自的局限在那儿？

在SIA出现之前，酌量界其实也曾有两条探索AI自我创新的道路，但这两条道路历久以来各利己战，从未信得过会通。

第一条道路不错通晓为"改装外壳"。酌量者让一个"元AI"（即一个专门负责创新其他AI的AI）不停修改任务AI的操作手册——包括它使用的器用、提醒语、出错重试逻辑、输出领略格式等等。这就好像给一个厨师不停更换厨具、改写食谱、优化备菜经由，但厨师本东谈主的厨艺和知识储备永久不变。这类职责的代表包括Darwin Godel Machine、Meta-Harness、Hyperagents等系统。这条道路的共同发现是：反复修改操作手册，创新的时时是"经由遵守"，而不是AI信得过的规模通晓智力——有些知识，无论怎样改提醒语，AI就是无法从里面"学会"。

第二条道路则不错通晓为"强化内功"。酌量者设计好一套固定的查验经由，然后让AI在濒临新任务时，通过自身发扬的反应来调节里面参数（也就是"权重"）。这就像让厨师通过反复烹调、回味、回来，信得过把新菜式的妙技内化为我方的本能。这类职责的代表包括TTRL、Discover-TTT等。但这条道路的问题在于，查验经由是东谈主工设计的、固定的，AI只可在既定的框架内学习，无法阐发任务特色天真调节学习政策。

这两条道路的共同劣势，就是"只用一只手"——要么只改外壳，要么只练内功，从未同期作念到两者。SIA的中枢孝敬，恰是初度将这两个当作融入一个妥洽的自动化轮回之中。

---

三、SIA的中枢设计——一个三角互助的自我进化轮回

SIA的举座架构不错用一个三角互助来通晓。这个三角形的三个角，分别是"运转机各人"（Meta-Agent，元智能体）、"实行者"（Task-Specific Agent，任务智能体）和"反应耕种"（Feedback-Agent，反应智能体）。

元智能体的职责是"开局"：给定一个任务描摹和一些参考遣散，它负责为任务智能体生成一套运转的操作手册。这套操作手册包含系统提醒语、器用调用逻辑、谜底索取代码等，是任务智能体伊始职责的基础设立。

任务智能体是信得过"干活"的变装：它拿着操作手册，在一个受控的沙盒环境中对任务数据集进行处理，产生输出遣散，同期记载下齐备的实行过程日记——每一次模子调用、每一次器用使用、每一次输出索取，透顶被记载下来，这份齐备的日记被称为"轨迹"。

即时比分网2026世界杯赛事直播入口

反应智能体则是这个轮回的中枢驱能源。它不单是看汇总的收获数字，而是拿到任务智能体的齐备轨迹，像一位有训戒的耕种雷同逐条分析那儿出了问题、为什么出问题。分析完之后，反应智能体要作念一个重要决策：下一步，是修改操作手册（改外壳），如故触发一轮强化学习查验（练内功）？这个决策本人亦然动态的，依赖于不雅察到的任务类型和现时的创新瓶颈。

这个三角形不停轮回运转，直到用完预算的设施数为止。每一轮轮回，要么操作手册变得更好，要么模子的里面参数变得更好，要么两者俱收并蓄。所有这个词过程无需东谈主类干涉，只需要在最伊始提供任务描摹和一个评判圭臬（即"考据器"）。

---

四、两个"旋钮"的具体运作——操作手册怎样更新，权重怎样查验？

操作手册的更新过程，遵守一个固定的三步节奏：先让现时版块的任务智能体跑一遍数据集，采集齐备轨迹；然后反应智能体分析这些轨迹，找出具体的失败模式；临了反应智能体生成一份创新论说和一个全新的操作手册版块。在这个过程中，模子的权重保持不变，变化的只是"外部基础设施"——器用、提醒语、领略逻辑、重试政策等。

为了注重操作手册因为过度适配某几个特殊任务样本而失去通用性，元智能体在生成运转操作手册时会战争到各样化的任务描摹，这被称为"样本任务正则化"——雷同于厨师在制定圭臬食谱时参考了来自不同地区、不同口味偏好的主顾反应，而不是只针对一桌宾客。

权重更新的过程则更像是一种定制化的强化查验。反应智能体并不会机械地套用统一种查验算法，而是阐发现时任务的特色和不雅察到的奖励信号分散，动态采用最合适的查验政策。在实验论说的三个任务中，分别出现了三种不同的查验格式，这体现了SIA在查验政策采用上的天真性。

具体来说，当奖励信号比拟密集、查验安祥性是主要费心时，反应智能体会采用一种叫作念"PPO with GAE"的方法，这是一种带有专门"价值评估缓助汇集"的政策优化算法，百家乐2026世界杯中国官方下载大约让模子在不偏离已有智力太远的前提下稳步创新。当任务的谜底考据发生在所有这个词解答完成之后、且不错快速并行生成大量尝试时，反应智能体会采用"GRPO"，这种方法不需要稀少的价值评估汇集，平直对一批尝试的遣散进行相对排行，算计资本更低，并行智力更强。当奖励信号非常稀少——也就是大多数尝试都失败、只好极少数尝试能产生有用信号时，反应智能体会采用"熵上风加权"方法，通过对少数告捷案例赐与更大的学习权重，让模子从珍稀的告捷训戒中最大遣散地收受营养，注重有用的信号被大量失败的杂音祛除。

此外，酌量团队还提到，在更泛泛的实验中（不限于论文负责论说的三个任务），反应智能体还不雅察到两种稀少的政策：当奖励密集但主要风险是模子智力退化时，会采用附加了"与原始模子各异刑事株连项"的最浅易强化学习体式；当奖励如斯珍稀致使于政策梯度信号果然为零时，会先进行"精英效法学习"——挑出少数发扬最佳的尝试，让模子平直学习这些告捷案例，将基准告捷率进步到一个合理水平，再切换到负责的强化学习阶段。

---

五、三个着实战场——SIA在法律、算计机系统和生物学上的本质发扬

为了考据SIA不是只对特定类型任务有用，酌量团队采用了三个人大不同的规模来作念测试，并与此前最佳的已知遣散进行了平直比拟。

**法律规模：汉文刑事罪名分类**

第一个测试来自法律规模，具体任务是LawBench——一个191类汉文刑事罪名分类基准。给定一段着实案件的事实描摹，模子需要从191种罪名中找出正确的那一个。这191种罪名涵盖了极为风雅的法律辞别：比如普通盗窃、群众财产盗窃和挪用公款都属于"盗窃"类的不同分支，轻伤、重伤和挑升伤害也各有不同的法律定性。关于这个任务，惟恐忖度的正确率不到1%，即即是受过专科查验的法律从业者也会感到毒手。所有这个词数据集包含5332个查验样本和913个测试样本，评测在测试集上进行。

SIA的进化过程是这么伸开的。操作手册的更新阶段，前几代版块设立了基本的分类职责流，后续几代渐渐将中枢政策敛迹到一种基于文本特征匹配和线性分类器的经由，通过不停调节字符级别的特征索取界限和正则化参数，准确率从当先的13.5%稳步爬升到了50.0%，超越了此前最佳收获（45.0%）。此时，反应智能体检测到创新也曾停滞，立时切换到权重查验阶段，给与PPO with GAE方法对模子的分类智力施加精准的梯度压力，最终将准确率激动到了70.1%。这意味着，仅靠更新操作手册，牛牛游戏中国2026世界杯官网也曾超越了之前所有方法；再加上权重查验，又稀少进步了20.1个百分点，达到了此前最优遣散的156%。

**算计机系统规模：GPU中枢运算优化**

第二个测试来自底层算计机系统规模，任务是为AlphaFold2（一款预测卵白质三维结构的闻明AI系统）中的一个中枢运算模块编写高效的CUDA设施，并在H100 GPU上运行。这个运算模块叫作念"三角乘法更新"，它的特色是内存走访模式不相接，导致GPU的并交运算智力无法被充分期骗，想要写出信得过高效的遣散，需要掌捏许多H100独到的底层妙技——比如分享内存分块、寄存器压力管理等。评分圭臬是1500除以运行时候，数字越大代表设施越快。此前最佳收获对应的运行时候约为1161微秒。

SIA在操作手册更新阶段，冉冉构建并创新了大约正常运行的CUDA设施，最终将运行时候压缩到了12483微秒，取得了约1.14倍的加快比。肃穆这里的运行时候比最先的14254微秒如实有所改善，但仍然远未超越此前最优。切换到权重查验阶段后，反应智能体给与了熵上风加权方法来处理这种奖励非常稀少的场景（大多数生成的CUDA设施要么编译失败，要么性能极差），让模子信得过掌捏了H100独到的优化妙技，最终将运行时候一举压缩到了1017微秒，速率进步到基准的14.02倍，比此前最优遣散快了12.4%。这个创新幅度让东谈主印象久了，因为从12483微秒到1017微秒的跃升，果然完全来自于权重查验阶段——操作手册再怎样修改，都无法让模子"臆造学会"那些需要深度内化的GPU编程知识。

**生物学规模：单细胞RNA数据去噪**

第三个测试来自生物学，任务是优化一种叫作念MAGIC的单细胞RNA数据处理算法的参数。单细胞RNA测序是一种测量每个细胞基因活性的技巧，但由于技巧本人的局限性，测量遣散中会有大量蓝本应该口角零的数值被失误地记载为零（这种快意叫作念"技巧零散"）。MAGIC算法通过在细胞之间分享和扩散信息来弥补这些缺失值，但它的遵守相配依赖于几个互相耦合的参数：隔邻数目k太小会过度明锐于个别细胞的噪声，太大则会把着实的生物各异给"平均掉"；扩漫步数t和核带宽α也存在雷同的衡量。评估谋略mse_norm越高越好，此前最佳收获为0.240。

操作手册更新阶段，任务智能体对这些参数的组合空间进行了系统性的探索，最终将mse_norm安祥在了0.241，刚好超越了此前最优。络续修改操作手册也曾无法带来进一步改善，反应智能体于是切换到GRPO权重查验。在第一个权重查验稽察点，模子产生了一个在所有这个词操作手册迭代过程中从未出现过的结构性创新：在MAGIC处理遣散背面加多了两行代码，将输出数值剪辑为非负整数。这听起来是个极其浅易的后处理设施，但它背后有着明确的生物学逻辑——着实的基因抒发计数不行能是负数，也不行能是极少，将遣散取整并剪辑到非负界限，本质上是把一个生物学知识平直编码进了模子的输出政策。这一改换将mse_norm进步到了0.289，比操作手册最佳遣散又高出了20%。

---

六、两个旋钮分别改变了什么？——深入通晓"外壳"和"内功"的本质区别

操作手册的更新，本质上是对"外部基础设施"的矫正。在LawBench任务上，它搭建了一个结构化的谜底索取层和候选罪名再排序器用；在CUDA优化任务上，它设立了一个大约领略编译失误日记并将会诊信息结构化地反应给模子的器用，以及一个大约精准测量中位运行时候的计时框架；在去噪任务上，它构建了一个批量设立驱动器和一个大约将"参数组合—得分"配对遣散整都呈现给模子的领略器用。这些改变都是"外围的"——模子本人莫得任何变化，变化的是模子与任务环境之间的接口和中介层。

权重查验的更新，则是对"里面知识"的信得过改写。在LawBench上，梯度压力让模子学会了辞别191个罪名中那些非常相似的子类别，这种轻细阔别力无法通过任何提醒语来赢得。在CUDA优化上，模子信得过掌捏了H100 GPU的特定编程妙技，这些妙技无法被写进操作手册——你不错在操作手册里告诉模子"要肃穆分享内存分块"，但模子信得过学会怎样作念，只可通过自身生成代码、不雅察遣散、收受梯度反应来遣散。在去噪任务上，阿谁"剪辑到非负整数"的后处理设施，代表了模子将一个生物学管理内化为我方的输出政策——这个管理在操作手册的无数次迭代中从未被提议，却在权重查验后当然袒露。

---

七、这个系统还有哪些值得正视的问题？

酌量团队在论文中坦诚地指出了SIA现时边临的一个中枢挑战，这个挑战被称为"耦合协进化的古德哈特问题"。浅易来说，古德哈特定律是一条闻明的社会科学训戒法例：当一个预计谋略成为优化观念时，它就不再是一个好的预计谋略了——因为系统会伊始"针对谋略"进行优化，而不是针对谋略背后信得过想要预计的东西。

SIA濒临的是这个问题的一个更复杂的版块：操作手册的更新和权重的查验，都在针对统一个固定的考据器进行优化。操作手册会找到那些对现时模子来说最容易期骗的框架，权重则在由现时操作手册塑造的数据分散上进行查验，而这个操作手册接下来又会改变。两个优化过程互相依赖、互相影响，它们最终敛迹到的"安祥点"，从表面上说是两个优化者之间的纳什平衡，而不一定是信得过道理道理上的最优解——这个安祥点在查验考据器上看起来很好，但在考据器莫得祛除到的分散或任务变体上可能显得脆弱。这是一个绽开的酌量问题，SIA面前还莫得提供惩办决策。

---

八、下一步想作念什么？——酌量团队的瞻望

酌量团队提议了两个主要的后续酌量观念。

第一个观念是让"反应智能体的决策本人"也变成不错学习的对象。面前，反应智能体采用"是修改操作手册如故查验权重"，依赖的是一个事前固化的鬼话语模子判断，本质上如故东谈主工设计的启发式端正。更瞎想的作念法，是把SIA在一系列任务上运行的训戒积聚起来，把每一次"（不雅察到的气象，采选的行为，得到的遣散）"三元组视为一个外层强化学习问题的查验数据，让决策政策本人也通过强化学习来创新。这么就酿成了一个信得过递归的自我创新结构——不仅系统在高出，驱动系统高出的机制本人也在高出。

第二个观念是让两种更新模式的切换愈加细粒度。现时的SIA所以"轮次"为单元在操作手册更新和权重查验之间粗粒度地切换。一个更精细的颐养格式，应该允许反应智能体在操作手册搜索过程半途就触发一次权重更新，或者在权重查验刚完成后坐窝重启操作手册探索，减少从"发现瓶颈"到"采选行为"之间的蔓延，可能会解锁一些粗粒度轮换模式下错过的创新旅途。

---

说到底，SIA这项职责的道理道理，与其说是"AI变得更强了"，不如说是"AI学会了以更系统化的格式让我方变得更强"。这两者之间的区别，就像一个通过反复训诲题目变得更强横的学生，和一个大约主动分析我方那儿不及、决定是要换讲义如死去找着实神气练手的学生之间的区别。后者的后劲，彰着要绽开得多。

面前，SIA在三个人大不同的规模都取得了超越此前最佳遣散的发扬，这至少评释了"同期调节外壳和内功"这条路是走得通的。至于它能走多远，以及如安在保证系统不"钻空子"的前提下让它走得更远，可能会是接下来几年AI自我创新酌量规模最值得继续关爱的问题之一。有兴致深入了解技巧细节的读者，不错通过arXiv编号arXiv:2605.27276查阅齐备论文。

---

Q&A

Q1：SIA系统和普通AI大模子有什么本质区别？

A：普通大模子的智力在查验完成后基本固定，使用时只可依靠外部提醒来训导它。SIA是一个自动化轮回系统，它能在给定任务后，既自动修改自身的操作手册（外部器用和经由），又能通过强化学习更新模子里面参数，两者协同进行，所有这个词过程不需要东谈主类工程师介入。

Q2：SIA在汉文法律罪名分类任务上的70.1%准确率是怎样遣散的？

A：SIA起初通过反复修改操作手册，将分类经由优化到基于文本特征匹配和线性分类器的政策，准确率从13.5%进步到50%。随后检测到瓶颈后，切换到PPO强化学习查验，对模子辞别191个罪名轻细离别的智力进行针对性强化，最终达到70.1%，比此前最优遣散高出25.1个百分点。

Q3：SIA查验权重时用的强化学习算法为什么每个任务都不雷同？

A：因为不同任务的奖励信号特征各异很大。法律分类任务奖励信号密集且安祥(中国)抢庄牛牛官方app下载，相宜用PPO保证查验安祥性；CUDA优化任务大多数生成代码都无效，奖励非常稀少，相宜用熵上风加权放大珍稀告捷样本的学习信号；去噪任务不错快速并行评估大量决策，相宜用GRPO镌汰算计资本。SIA的反应智能体会阐发不雅察到的轨迹动态采用最合适的算法。