自蒸馏赋能持续学习：实现从演示中高效知识积累

自蒸馏微调（SDFT）概述

自蒸馏微调（Self-Distillation Fine-Tuning, SDFT）是一种简单而高效的方法，它能够直接从演示（demonstrations）中实现策略内（on-policy）学习。SDFT巧妙地利用了上下文学习（in-context learning）的机制，它将一个由演示条件化的模型用作自身的“教师模型”，从而生成策略内训练信号。这些训练信号的独特之处在于，它们在帮助模型习得新技能的同时，能够有效地保留模型原有的先验能力。

性能表现与核心优势

在涵盖技能学习和知识获取等各类任务中，SDFT的表现持续优于传统的监督微调（SFT）。它不仅能够达成更高的新任务准确率，更关键的是，它能够显著地减少模型在学习新知识时常出现的“灾难性遗忘”（catastrophic forgetting）现象。

实践意义与结论

在序列学习的实验验证中，SDFT展现出了卓越的能力：它使得单个模型能够在时间推移的过程中，持续积累多项技能而不会出现性能的衰退。这有力地证明了“策略内蒸馏”是实现从演示中进行持续学习的一种极具实用价值的有效路径。

原文：https://arxiv.org/abs/2601.19897

📌 相关推荐

Vibe编码的Photoshop去哪儿了？

2026/5/18

我不认为AI会让你的流程更快

2026/5/18

Semble：面向AI智能体的高效代码搜索工具

2026/5/18