耗资1.3万，ASU团队揭秘o1推理王者！碾压一切LLM本钱超高
编纂：桃子 好困
【新智元导读】LLM不会方案，大推理模子o1可以吗？ASU团队最新研讨发觉，o1-preview推理方案才能是一切模子之最，但仍未触及天花板。紧张是，推理强，本钱超高。
LLM仍然不会方案，LRM可以吗？
OpenAI声称，草莓o1以前打破了自回归LLM常规限定，成为一种新型的「大推理模子」（LRM）。
它可以基于强化学习，经过CoT多步推理。并且，这种推理历程的代价，是热血的。
来自ASU研讨职员以此为契机，全盘评价了如今LLM和新型LRM，在测试基准PlanBench上体现。
论文地点：https://arxiv.org/pdf/2409.13373
PlanBench是他们在22年提出，评价大模子方案才能的测试基准。
在最新测试中，研讨职员发觉，o1-preview体现出色，大幅抢先其他模子，但也未完全经过PlanBench基准测试。
其他LLM，在Mystery Blocksworld上的功能都不外5%。在基准上的后果曲线，和X轴几乎交融。
足见，这些大模子的方案才能，十分地弱。
不外，作者指出，方案推理越长，o1-preview的准确率便会低于25%。
别的一个值得注意的点是，即使o1-preview跨越了大多近似检索的平凡LLM，成为一种近似「推理器」。
但是，这种推理本钱高达42美元/100个实例。
总而言之，o1在推理方案方面开发了新天地，但仍旧不是终极AI大脑。
最优秀LLM，仍然无法例划
作者以为，o1模子以往LLM很大不同在于，前者被练习成为近似「推理器」，尔后者大略视为「检索器」。
由此，o1公布之后，研讨职员对其与平凡的LLM举行了区分，并将o1称为「大推理模子」。
而要评价新模子的才能，以及范围性，还必要新的东西和评价办法。
PlanBench是在2022年GPT-3公布不久之后，态度arXiv。今后，作者也在一个特定子集上（包含600个3-5 block成绩的静态数据集），重新测试模子。
只管相继显现的LLM参数范围越来越大，算力本钱越来越高，但它们在简便的方案成绩上，仍旧无法完成饱和。
并且，多项研讨中的改良并不妥当，可推行力没有那么高。
因此，PlanBench可以作为LLM和LRM在推理方案职责上，对否取得提高的一个权衡标准。
不外必要注意的是，这种测试只能作为功能的极限，尤其范围于静态测试集。
如下表1中，展现了如今大模子在600个3-5 Blocksworld静态成绩测试集，以及600个语义相反但语法殽杂的实例Mystery Blocksworld中的后果。
在这些模子中，Llama 3.1 405B在常规Blocksworld上，取得了最佳功能62.6%。
但是，只管实诘责题相反，很多模子在Mystery Blocksworld上，功能大打扣头几乎溃败。
没有一个模子，在PlanBench测试会合，到达5%的功能。
这是由于，LLM十分善于提供等效表征之间的转换。
因此，大模子在Blocksworld未殽杂语义语法的成绩上，功能更高。这也预示着，假如LLM可以组合推理利用，明白提供从Mystery Blocksworld到Blocksworld表征翻译，大概LLM在此的功能差距应该会大幅变小。
经过重写提示，研讨职员发觉，功能仅是提高了很小一局部—— GPT-4到达了10%。
作者还发觉，与之前后果相反，单样本提示（one-shot）相较于零样本，并没有明显改良模子功能。
内幕上，在很多模子中，one-shot后果仿佛要差得多！
这一点，在对Llama系列模子的测试中，最为分明。
特地提一句，在开始基准迭代中，研讨职员并没有思索听从成绩，由于平凡LLM天生某些输入，所需时间只取决于输入长度，与实例的语义内容、难度不关。
但是，LRM会依据输入内容，自顺应改动每个实例所需的时间和本钱，因此权衡盘算听从变得尤为紧张。
对此，ASU团队盘算了不同模子的提示本钱，如下表4所示。
看得出，100个实例，o1-preview推理的代价最高，为42.12美金。
接下去，就到了评价o1在PlanBench基准上的才能了。
从近似检索到近似推理
很多研讨者都曾以为，经过近似检索来天生输入的「标准」自回归LLM，只管可以在一系列体系1（快速、直觉性思索）职责中有着精良的体现，但不太约莫具有更相似于体系2（慢速、分析性思索）的近似推理才能，而这种才能关于方案职责来说至关紧张。
如今，OpenAI试图在o1上以不同的办法为底层LLM增加相似体系2的才能。
依据研讨职员的推测，o1将底层LLM（很约莫是颠末修正的GPT-4o）与一个颠末强化学习练习的体系相团结，该体系引导头脑链推理轨迹的创建、整理和终极选择。
由此可知，o1与其他LLM存在两个主要区别：
第一，新增了一个分外的强化学习预练习阶段（约莫是从多量构成数据中学习不同头脑链的q值）；
第二，接纳了一个新的自顺应扩展推理步骤（约莫是经过相似rollout的办法进一步细化学习到的q值，然后再选择特定的头脑链）。
不管怎样，从已知的细节来看，这个模子在实质上与之前的LLM有基本的差别。
在原始测试集上评价LRM
在必要2到16步方案来处理的原始Blocksworld测试上，o1完成了高达97.8%的准确率。在Mystery Blocksworld上，也有着52.8%的准确率。
更进一步，研讨职员经过完全随机的字符串天生了新的殽杂，并以此取得了难度更高的Randomized Mystery Blocksworld。
在这个测试中，o1仍能答对37.3%的成绩——与那些一题都答不上去的LLM构成了光显比力。
扩展成绩范围
LLM的头脑链提示好坏常脆弱的，很难随着成绩范围的增大而妥当地扩展，并且不克不及诱导出通用的算法步骤跟随。
为此，研讨职员构建了一组有着110个实例的Blocksworld测试。此中，block的数目从6到20个不等，必要20到40步方案才干完成。
在不做任何殽杂处理的情况下，o1-preview仅仅到达了23.63%的准确率，并且大局部都是来自于那些必要少于28步的成绩。
可见，模子的功能还远未到达妥当的水平。
不成解的实例
不休以来，LLM都难以推断一个成绩对否有解，而OpenAI则声称o1以前可以举行准确地识别了。
为了体系地测试这一点，研讨职员修正了原始测试会合的100个实例——经过在每个实例的目标形态中添加一个on(x,y)典范的毗连词，使目标变得不成满意。
后果体现，在Blocksworld中，o1只准确且明白地识别出了27%的实例是不成解的。
在19%的情况下，模子会前往一个点或某种「[empty plan]」标志，但没有对可解性做出任何表明或分析。这是不准确的，由于「empty plan」仅有在目标以前满意的情况下才是准确答案。
在剩余的54%的情况下，模子天生了一个「完备」的方案。显然，这是不成能也是不准确的。
在Randomized Mystery Blocksworld中，后果更糟：
– 16%的情况准确识别出了成绩不成解
– 5%的情况前往了「empty plan」
– 79%的情况给出了一个不成能或不满意目标的方案
可见，不成解实例仍旧是LRM的一个成绩。
不仅云云，这种识别才能也是有代价的——o1偶尔会错误地声称可解的成绩是不成解的（假阴性）。
在Randomized Mystery Blocksworld中，模子的假阴性率到达了11.5%。
准确性和本钱的权衡与确保
随着LRM在方案职责上取得更好的功能，评价也必需明白思索，选择通用模子而非成熟专门体系来带的利害。
固然o1-preview准确性跨越LLM，但缺乏的是准确性确保。
并且，现在尚不清晰它对否具有本钱效益。
与之前模子不同的是，o1 API每次调用价格还包含基于使用「推理token」数目附加用度，并依照最高输入token计费。（这些token是在推理历程中天生，并没有直观展现出来）
这也就意味着，o1 API用度用户是无法控制的。
作者表现，o1推出不到一周，他们在PlanBench基准上测试模子，竟破费了1897.55大洋（约13300元）！
并且，可以拜候的o1-preview仿佛在每个成绩上，使用的推理token数目遭到限定。
这一点也可以从图2的安稳厘革中，可以看出。（包含如下散点图）
这就存在一种以为低落总本钱，最高功能的要素。
假如完备版o1取消这一限定后，约莫会提高全体准确性，但随之带来的热血推理本钱愈加难以猜测（只会愈加离谱）。
o1-mini固然更具性价比，但总体功能照旧较差。
由此，o1模子在本钱、推理时间、确保、功能权衡上，仅是一种粗粒度的评价选择。
经典的方案器Fast Downward在数据集上，可以以更少时间、盘算、本钱，完成了100%准确率，同时可以确保答案准确度。
而在PC上运转Fast Downward基本上不必要花什么钱，均匀每个实例耗时0.265秒。这要好比上表2中，o1均匀时间快了几个数目级。
它通常也是可猜测的，并且能直接扩展到更难的实例。
平凡LLM十分善于在不同格式之间转换成绩，并可以团结Fast Downward一同使用，本钱还仅是LRM一小局部。
关于没有简便PDDL域和实例标准的成绩，LLM-Modulo体系约莫是一种更宁静、更便宜的办法。
即将一个较小、较快的LLM与一个可靠的验证器循环运转，使得组合体系只输入确保准确的处理方案。
后方这两种办法提供准确性确保，却在o1如此的LRM中严峻缺失。
假如一个经过谁人推理AI十分自傲地订定错误方案，就不克不及摆设在宁静紧张和非遍历范畴。
如今，o1照旧一个完全黑盒体系，要比之前模子愈甚。OpenAI不仅保密其架构和推理历程，还告诫克制想要了解内里机制的用户。
这也就让o1的可表明性变为不成能，也低落了整个体系信任度。
o1的创造性表明
值得一提的是，当模子给出错误答案时，它偶尔还会为其决定提供一个富有创意但毫偶然义的表明。
换句话说就是，o1从产生幻觉变成了PUA……
在一个案例中，它以为一个无法处理的成绩是可以处理的，由于一个目标条件固然在终极形态中不存在，但在实行历程中的某个时点是真的，因此应该持续盘算。
在另一个案例中，它声称on(a,c)是真的，由于正如「on(a,c)」的字面意思，a在b上，而b在c上，因此a在c的「上方」。
结论
总结而言，LLM在原始Blocksworld测试集上的体现，会随着时间的推移有所提升。
此中，体现最佳的是Llama 3.1 405B——准确率高达62.5%。
但是，这些模子在同一范畴的殽杂版本上的糟糕体现，暴露了它们「近似检索」的实质。
比拟之下，新的LRM，也就是o1，不仅几乎接近完善处理了原始Blockworld测试集，并且在殽杂版本上初次取得了历程。
受此鼓动，研讨职员又评价了o1在更长成绩和无解成绩上的体现。
但后果体现，之前这些准确率的提升既不具有泛化性，也不具有妥当性。
最初，团队渴望这份研讨报告可以很好地展现LLM和LRM的方案才能，并为怎样真实评价它们提供有效的发起。
