（来源：haotian PaperWeekly）
训 reasoning-model 的时候，即使输出很长，也不会 care credit-assignment，只要题目足够难、group-size 足够大，训练时间足够长，训推 diff低/entorpy 不炸，基本都能涨到还不错的效果。
但转到 agentic 任务，似乎故事的叙事方法就完全变了。
加入各种 TITO、seq/token-is（有偏/无偏）以及各种不同的算法变种，在笔者的实验中，总是涨点随缘，波动为主。很少能见到类似 reasoning-RL 那样非常明确的涨幅趋势。
从换 data、加 KL（防治分布漂移）、加 entropy（增加探索）等等，似乎都无法解决问题。当模型曲线健康的时候，eval 不涨点会比较难定位问题。
infra 错？但 single-turn 都正常且训推 diff、entropy、KL 都正常。
数据错？换 data 似乎也不解决问题（除非用测试集训练）。
recipe 错？都训不崩、指标健康，recipe 似乎没错。
分析 rollout 样本？不同的任务/task 分析难度不低，LLM-judge 能给出一些初步诊断，但一些问题的解决需要从 data 角度构造（且模型的输出行为需要能符合预期，这个周期也不短）。
加 reward-shape？底座/数据/任务之间，比较难迁移，且不解决长期问题。
思来想去，只能转向credit-assignment。对于 128k 甚至 256k 长度的训练长度，高质量的 rubric 和 LLM-judge 成本很高，拖累训练速度，验证周期也更长。
在 SAO 之前，大家还是更多 group-sampling 这种方法，当 data、recipe 都看着正确的情况下，只能增加 bs 或者 rollout-num-per-group，企图通过更多暴力采样解决问题。
你说 infra 的训推 diff 更小会不会变好，答案肯定是 no，开了 r3、算子对齐，出来也是依托答辩。
最明显的问题：
1. 正确样本里面有 bad-behavior，但如果数据质量不够高，bad-behavior 会被鼓励甚至放大，导致更难的题目直接 fail（1. 造更好的data；2. 加reward-shape）---> 造更好的 data，短期不容易解决；reward-shape 不解决本质问题，且随着底座、数据变化，大概率也是无用功。
2. 错误样本里面，有正确的推理+工具调用路径，GRPO 这种 critic-free 会无差别惩罚--->充分说明，吃大锅饭、非个性化培养，企图用一个信号训模型，训出来的都是垃圾。
解决思路也简单：partial-credit-assignment。只要有就比没有强（不能比 group-mean 还差），质量更高更好[6]。
1. 离线 judge bad-pattern，前缀不做优化，只优化后缀（比如出现过明确推理得到的答案但最后验证等等错误）；
2. [1][2][3] 里面的提到的方法。
PivotRL：
应用到 credit-assignment，则可以这么做：
1. 离线先 SFT 筛一波数据；
2. 通过 LLM-judge、entropy 等等，找一个合适的 cut-point（比如 first-error-step 检测、高 entropy 分叉点，比如[4]）；
3. 离线 cut 后，前缀作为 prompt 丢进去（不做优化，prefix-replay），只优化后缀，还是按照 GRPO 的标准配置。
类似的方法还有 [1]，但 [1] 的实现更复杂一些（[1] 还同时训了 reflection generation and action retries 等等，复杂度相对高）。
基于 Pivot-RL 的 naive 版本（离线 cut，replay-prefix，只 rollout+optimize suffix），已经在部分 bench 上涨点显著（没出现随机波动），更大的尺寸、更多的训练 step，也符合预期。
但整体上，如果算力比较高，做 tree-rollout，选 pivot-node（比如 [4]，再结合 LLM-judge），做后续的 rollout，估计 q-value 等等，也能得到比较 solid 的 pivot-turn 的选择，会是更好的选择。
近期，在多轮 OPD 场景，也有类似的工作 [3]，通过各种不同的方法 replay-prefix，提升多轮场景的 credit-assignment 准度和收敛效率。
由于加了 pivot 的 prefix-replay，整体训练速度也会提升（适合短期交付、资源少的场景），且能更稳定的涨点，是一个不错的实践方法。
如果资源充足，还是做一个 value-pretrain 来的划算，即使没有 large-scale-value-pretrain，也能在 RL 的训练数据上做，也会有很不错的效果 [5]。
我们在 [5] 中，也粗浅验证了一下 value-pretrain 和 RL 的数据 IID，对于 OOD 涨点也会更好。或者做 tree-rollout，选择合适的分叉 node [4]，也能更好的优化 long-horizon agentic task。
一句话总结：credit-assignment 只要不是胡乱搞（不能比 group-mean 还烂，EVPO [6] 里面，有比较明确的实验），在多轮场景下，或多或少都会有些增益，避免过分惩罚错误里面的正确，导致模型的输出质量急剧下降。
参考文献
[1] Agent Reinforcement Learning via Pivotal-Aware Self-Feedback Retry
[2] PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost
[3] Multi-Turn On-Policy Distillation with Prefix Replay
[4] TreeRL: LLM Reinforcement Learning with On-Policy Tree Search
[5] https://zhuanlan.zhihu.com/p/2064452938018322060
[6] EVPO:*Explained Variance Policy Optimization*, arXiv:2604.19485