语言模型正日渐以 Agent 形式部署：它们与用户交流、维护交互状态，并通过外部工具执行动作。在此过程中，Agent 的每一步决策都会影响后续观察结果及其所处状态。要将能力强大但调用成本较高的前沿 Agent 蒸馏至小模型，涉及两个关键问题：教师模型应该在哪些状态上监督学生模型？双方的行为又应该在什么粒度上对齐？
现有蒸馏方法对此采取了不同路径。离线蒸馏（Offline Distillation）通过拟合教师模型生成的序列提供 Token 级监督，但容易面临教师模型与学生模型的状态分布不匹配问题。Token 级同策略蒸馏（On-Policy Distillation，OPD）通过监督学生模型生成的序列缓解这一问题，但通常需要教师模型提供 Token 概率，并要求双方使用兼容的分词器（Tokenizer）。两类方法都在 Token 层面施加监督，未显式对齐动作语义。
(资料图片仅供参考)
图｜不同 Agent 学习方法的监督方式对比
针对上述问题，清华大学研究团队提出 ActionOPD，一种动作级同策略蒸馏方法（Action-level On-Policy Distillation），其核心是将语义动作作为监督单位：在学生模型遇到的状态下，分别采样教师模型与学生模型的输出，并根据学生模型动作与教师模型动作的语义一致程度计算奖励，通过策略优化对齐双方的动作级行为。
论文链接：https://arxiv.org/pdf/2610.19820
该方法仅需访问黑盒教师模型的生成接口，无需获取教师模型的 Token 概率，也不要求师生模型共享模型家族或分词器。在四个未参与训练的 Agent 基准上，Qwen3-4B 和 Qwen3-8B 学生模型经过 ActionOPD 训练后，平均性能提升 3.3-6.9 个百分点。在 τ²-bench 上，它与离线蒸馏和 token 级 OPD 相比具有竞争力。这些结果表明，ActionOPD 是一种潜力巨大的 Agent 蒸馏方法。
研究方法
ActionOPD 的优化目标是，在学生模型训练过程中遇到的状态上，最大化教师模型动作的期望似然。这里的动作似然并非学生模型复现某条教师模型输出序列的概率，而是所有在语义上与该教师模型动作一致的学生模型输出所对应的概率质量之和。
基于这一目标，研究团队推导出 REINFORCE 形式的策略梯度，将学生模型动作与教师模型动作的语义一致性作为奖励信号。监督发生在动作层面，而策略优化仍作用于学生模型自身生成的推理及动作 Token，无需将教师模型生成的推理过程作为模仿目标。
具体而言，在学生模型遇到的每个状态下，ActionOPD 从教师模型采样 3 个回复，构成教师模型样本集；同时从当前学生模型策略采样 4 个候选回复。教师模型与学生模型通过各自的原生 Prompt 接收相同的公开上下文和工具信息，再由语义匹配器（Semantic Matcher）比较候选回复所对应的动作。
图｜ActionOPD 在单个状态上的采样、评分、动作选择与训练流程
语义匹配器只比较动作内容，不比较推理文本，具体分两条路径。
对于工具调用，工具名与规范化后的参数做程序化比对，剩余的参数差异交给一个冻结的 LLM 判断。对于面向用户的交流回复，规范化后完全一致的直接通过，其余由 LLM 比较意图与事实内容。动作的语义在匹配层面定义，教师模型与学生模型也就不需要在词法或格式上对齐。
奖励结构上，首个匹配获得 1 分，此后每个额外匹配再加 0.25 分；动作合法但未匹配得 0 分，无效动作记负 1 分。论文举例：教师模型三个样本为 A、A、B 时，匹配 A 的回复得 1.25 分，匹配 B 的回复得 1 分。同一状态采样的 4 个候选全部与同一个教师模型样本集比对打分，环境仅执行奖励最高的候选回复所对应的动作，但保留的候选组中所有回复都参与策略优化。论文将这一过程称为状态组（State-group）Rollout，通过反复执行高奖励动作，形成教师模型引导的状态访问分布。
策略优化采用组相对优势（Group-relative Advantages）与 PPO 风格的裁剪代理目标（Clipped Surrogate Objective），组内平均奖励充当局部基线。频率加成在这里发挥作用：当整组候选都匹配了教师模型动作时，不同的匹配次数仍能产生非零的优势，从而区分出更贴近教师模型的回复。
实验结果与局限性
训练数据来自 AWM 与 EnvScaler 的精选任务，共 6697 个，覆盖 843 个环境。实验覆盖四种配置：Qwen3-4B 与 Qwen3-8B 学生模型分别配合 Qwen3.7-Flash 与 DeepSeek-V4-Flash 教师模型，各训练 100 步。评测在四个训练未涉及的基准上进行，包括 BFCL Multi-turn、ToolSandbox、AppWorld 与 τ²-bench，解码采用贪心策略，且不借助教师模型引导的动作选择。
实验结果显示，四组配置的跨基准平均分均有所提升，增幅为 3.3-6.9 个百分点。其中，Qwen3-4B 在 DeepSeek-V4-Flash 教师模型指导下，平均分由 30.8 提升至 37.7；Qwen3-8B 在相同教师模型指导下，由 35.6 提升至 40.0。
图｜不同师生配置在四个未参与训练的 Agent 基准上的性能表现
在相同训练步数及任务启动预算下，Qwen3-8B 的最终平均分高于 Qwen3-4B。与此同时，在两个学生模型规模下，DeepSeek-V4-Flash 均比 Qwen3.7-Flash 带来更高的学生模型平均分。DeepSeek 教师模型与 Qwen 学生模型的组合也验证了跨模型家族进行动作级蒸馏的可行性。
研究团队进一步在 τ²-bench 上，将 ActionOPD 与离线蒸馏（KD）、Token 级 OPD 进行对比。其中 KD 为离线蒸馏基线：教师模型对每个任务起点独立生成四条完整轨迹，仅将成功轨迹用于监督微调，损失覆盖教师模型的推理与动作 Token。此处的 KD 指序列级输出模仿（Kim & Rush, 2016），而非匹配教师模型输出分布的经典知识蒸馏。该实验使用 Qwen3-4B 作为学生模型、Qwen3-32B 作为教师模型，并采用相同的任务启动预算。
在测试集上，ActionOPD 的平均单次成功率（pass¹）达到 40.0%，高于 KD 的 37.5% 和 OPD 的 39.6%；但其四次全部成功率（pass⁴）为 14.2%，低于 KD 的 19.2% 和 OPD 的 17.5%。
图｜Tau 蒸馏对比
这表明 ActionOPD 并未在所有指标上取得最优结果。论文将其定位为一种具有竞争力、且教师模型接口更灵活的蒸馏方法，而非全面优于现有蒸馏方法的方案。
消融实验进一步验证了各组件的作用。在 τ²-bench 测试集上，ActionOPD 的平均单次成功率为 40.0%。将语义训练奖励替换为动作有效性奖励（Validity Reward）后，该指标降至 30.8%；移除频率加成（Binary Reward）后降至 36.9%；保留原有奖励机制、但随机选择执行动作（Random Commit）后降至 37.5%。
图｜Tau 消融实验
此外，研究团队探索了 Self-ActionOPD：教师模型与学生模型共享同一 Qwen3-4B 模型的当前权重，但教师模型额外获得动作指导、私有用户目标与约束、参考动作和目标结果等特权信息（Privileged Information）。经过 50 步训练，学生模型在仅使用公开上下文进行测试时，平均 pass¹ 和 pass⁴ 分别较基础模型提升 4.8 和 2.5 个百分点。
尽管取得上述结果，但这项研究依然存在以下三项局限：
研究团队表示，ActionOPD 将 Agent 蒸馏的监督粒度从 Token 提升至语义动作，通过语义匹配在学生模型自身访问的状态上提供监督，仅需教师模型的生成接口，无需获取 Token 概率。实验结果表明，该方法能够提升学生模型在未参与训练的 Agent 基准上的表现，并支持跨模型家族蒸馏。此外，Self-ActionOPD 展示了利用特权上下文进行同模型动作级蒸馏的可行性，为 Agent 自我改进提供了一条潜在路径。
更多技术细节，详见原论文。
作者：张佳怡
如需转载或投稿，请直接在本文章评论区内留言
上一篇 : 生意社：中厚板行情“先下探、后修复”V型走势_精选
下一篇 : 最后一页
清华团队提出ActionOPD：蒸馏决策，而非Token,动作,实验,清华,token,actionopd
学术头条 10-19 12:35:55
清华团队提出ActionOPD：蒸馏决策，而非Token,动作,实验,清华,token,actionopd
学术头条 10-19 12:35:55
10月19日，国家统计局副局长毛盛勇在国新办新闻发布会上说，前三季度我
生意社 10-19 12:14:48
10月19日，国家统计局副局长毛盛勇在国新办新闻发布会上说，前三季度我
生意社 10-19 12:14:48
企查查APP显示，近日，上海广钢气体技术有限公司成立，经营范围包含：
企查查 10-19 12:14:48
企查查APP显示，近日，上海广钢气体技术有限公司成立，经营范围包含：
企查查 10-19 12:14:48
蓉城咋成中超公敌了？武磊滴水不漏！刘祝润：现实满足了大连球迷心愿最
刀锋体育 10-19 11:29:05
蓉城咋成中超公敌了？武磊滴水不漏！刘祝润：现实满足了大连球迷心愿最
刀锋体育 10-19 11:29:05
三峡大坝三峡集团供图□楚天都市报极目新闻记者赵贝康旭阳邹斌肖颢通讯
楚天都市报 10-19 11:20:23
三峡大坝三峡集团供图□楚天都市报极目新闻记者赵贝康旭阳邹斌肖颢通讯
楚天都市报 10-19 11:20:23
红网 10-19 11:22:12
红网 10-19 11:22:12
国内中厚板价格先跌后反弹。据生意社商品行情分析系统，普中板(材质：Q
生意社 10-19 11:15:17
国内中厚板价格先跌后反弹。据生意社商品行情分析系统，普中板(材质：Q
生意社 10-19 11:15:17
证券时报& 183;数据宝统计，截至10月16日，市场融资融券余额为24888 57
证券时报网 10-19 10:58:22
证券时报& 183;数据宝统计，截至10月16日，市场融资融券余额为24888 57
证券时报网 10-19 10:58:22
因投资方违约，汇源集团切割“汇源”品牌，启用“咱家果源”,果汁,汇源
财视传播 10-19 10:30:45
因投资方违约，汇源集团切割“汇源”品牌，启用“咱家果源”,果汁,汇源
财视传播 10-19 10:30:45
,证券之星港美股
证券之星港美股 10-19 10:06:01
,证券之星港美股
证券之星港美股 10-19 10:06:01
*ST准油(002207)迎来控股股东“输血”。
证券时报网 10-19 10:15:01
*ST准油(002207)迎来控股股东“输血”。
证券时报网 10-19 10:15:01
10月19日9点54分，化学制品板块指数报29230 84点，跌幅达2%，成交89 85
东方财富Choice数据 10-19 10:03:42
10月19日9点54分，化学制品板块指数报29230 84点，跌幅达2%，成交89 85
东方财富Choice数据 10-19 10:03:42
低空经济概念继续活跃金盾股份涨超11%人民财讯10月19日电，低空经济概
证券时报 10-19 10:03:06
低空经济概念继续活跃金盾股份涨超11%人民财讯10月19日电，低空经济概
证券时报 10-19 10:03:06
洋面孔登台学扬剧！江苏大学留学生打卡西津渡，体验镇江非遗
紫牛新闻 10-19 09:27:53
洋面孔登台学扬剧！江苏大学留学生打卡西津渡，体验镇江非遗
紫牛新闻 10-19 09:27:53
10月19日，深交所发布关于前海开源中证大数据产业交易型开放式指数证券
新浪网 10-19 09:30:45
10月19日，深交所发布关于前海开源中证大数据产业交易型开放式指数证券
新浪网 10-19 09:30:45
证券之星消息，10月16日，白银有色（601212）（601212）融资买入3375 8
证券之星 10-19 09:27:00
证券之星消息，10月16日，白银有色（601212）（601212）融资买入3375 8
证券之星 10-19 09:27:00
比赛现场。摄影 刘佳红网时刻新闻10月18日讯（记者符洹雨）10月18日晚
红网 10-19 09:12:24
比赛现场。摄影 刘佳红网时刻新闻10月18日讯（记者符洹雨）10月18日晚
红网 10-19 09:12:24
南方财经10月19日电，今日资本市场投资要点:1、今日共有1只新股申购，
南方财经网 10-19 09:00:03
南方财经10月19日电，今日资本市场投资要点:1、今日共有1只新股申购，
南方财经网 10-19 09:00:03
在北京市人机共生智慧养老实验室，技术人员穿戴模拟老人身体状态的设备
新华社 10-18 08:27:47
在北京市人机共生智慧养老实验室，技术人员穿戴模拟老人身体状态的设备
新华社 10-18 08:27:47
10月17日，西藏山南市乃东区结莎社区一号片区固定管护员在清理杂草，开
新华网 10-18 08:24:54
10月17日，西藏山南市乃东区结莎社区一号片区固定管护员在清理杂草，开
新华网 10-18 08:24:54
清华团队提出ActionOPD：蒸馏决策，而非Token,动作,实验,清华,token,actionopd
国内中厚板价格先跌后反弹。据生意社商品行情分析系统，普中板(材质：Q
10月19日9点54分，化学制品板块指数报29230 84点，跌幅达2%，成交89 85
比赛现场。摄影 刘佳红网时刻新闻10月18日讯（记者符洹雨）10月18日晚
阿森纳全家福里多了条狗：她叫Win，2023年就进了训练基地,足球,阿森纳,
联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接
经济头条 版权所有，未经书面授权禁止使用
Copyright©2008-2020 By www.jingji.net All Rights Reserved
营业执照公示信息