9 月 18 日：Apple 用可逆性标尺测没有外部重置的强化学习

这篇以能读到摘要的 Apple 论文为主。REVERSAL-BENCH 测的是持续训练、尽量不靠外部重置时，策略会不会把状态弄到回不去。同日的几篇 Agent 论文只写摘要里已经写明的主张。

REVERSAL-BENCH

REVERSAL-BENCH（Shaik、Venkataraman；Apple Machine Learning Research，标 2026 年 9 月）对准的是自主强化学习的一个前提：持续训练、尽量不靠外部重置。摘要写明，现有范式大多依赖环境可逆；真实操作里，把物体推下桌、把颗粒物料洒出去，往往不可撤销。

基准本身可核对的设计有三条：用连续参数 ρ∈[0, 1] 控制可逆性；提供 reset oracle，作为检验状态能否恢复的真值机制；覆盖八种操作设定、五种物理引擎。评测对象包括标准 actor-critic、safe RL，以及「专门化」的策略架构。摘要没有写完名单和成绩，这里不写谁过了悬崖、谁没过。这是实验室基准论文，不是真机产线报告；「悬崖」（reset-free RL cliff）是作者提出的测量轴。

同批还能核对摘要的论文

• Shared Selective Persistent Memory for Agentic LLM Systems（Pedada、Dhavala、Patil；标为 EMNLP）：多轮工具调用的 agent 每次会话从零开始，会丢掉先前有用的配置、约束、数据模式和工具用法；整段对话硬存既费 token 又会拖质量。作者主张只保留四类可复用上下文——任务规格、数据模式、工具配置、输出约束——丢掉会话内推理轨迹。这是方法主张，不是生产环境对照实验报告。
• Glyph（Kudriavtsev、Rafi、Sundaram）：把企业数据湖里「列描述缺失」和「敏感类型未标注」写成两个耦合问题，用协作 LLM agent、有状态图来编排。摘要写明 Descriptor 会按需从企业 GitHub 拉取生成该列的流水线源码，作为生成依据。客户效果不在摘要里，不写。
• DACA-GRPO（Karimi Monsefi 等）：针对扩散语言模型的强化学习。作者指出现有做法把所有去噪步当成同等重要，并依赖有偏、高方差的似然估计；提出给 GRPO 加一套去噪感知的信用分配，自称轻量、可插拔。摘要没有数字结果，不写涨点。
• Trajectory as the Teacher（同一通讯作者组）：离散 flow matching 生成文本可能要上百次前向；蒸馏用多步轨迹教学生少步复现。作者反对「学生容量不够」的惯常解释，认为瓶颈在轨迹本身——训练轨迹是一串不评估序列质量的随机跳，早期坏决策会向后传播。
• How Value Induction Reshapes LLM Behaviour（Arora、Schluter、Metcalf、ter Hoeve；标 ACL Rolling Review）：对话模型会在后训练里注入好奇、开放、共情，以及有用、无害、诚实等价值。作者提醒价值互相牵连，诱导某一个可能改写另一个；某些诱导还会让生成更上瘾或更谄媚，从而伤到使用者。这是行为副作用的研究命题，不是安全认证。

信源