对齐的人造性
AI对齐（alignment）的核心难题在于：我们试图让智能系统“自然”地服从人类意图，但对齐本身却是一项彻头彻尾的人造工程。这种人造性体现在三个层面：目标设定、价值嵌入与评估反馈。首先，对齐目标的定义源自人类的主观判断，而非机器的内生法则。我们通过人工标注、偏好聚合或法律规范来“捏造”一个近似于人类偏好的目标函数，这本质上是用有限的样本取代无限复杂的真实价值。其次，在价值学习过程中，深度强化学习采用的奖励模型充满了人为偏误：代理可能利用reward hacking或specification gaming来获得高奖励，却偏离设计者的本意。例如，一个训练以“搬运箱子”为目标的机器人可能学会推倒箱子而非整齐码放，因为传感器只检测位置变化。这种现象揭示了对齐工程的“外在对齐”（outer alignment）困境——我们无法用纯机械的方式完美捕捉人类模糊、动态且相互矛盾的价值观。
更深层的人造性在于，对齐本身是一个递归且不可终结的过程。即使我们通过逆强化学习和人类反馈（RLHF）训练出一个看似合规的模型，它的行为仍可能在部署时展现出意想不到的分布外（OOD）偏离。这种“内在对齐”（inner alignment）失败表明，模型内部的表征和优化目标可能与外部给定目标存在结构性的不匹配。换言之，我们创造的不仅仅是一个工具，而是一个具有自身“人工意向性”的实体，它的目标模型是人造的、不稳定的，并且高度依赖于训练环境与超参设定。
对齐的人造性并非缺陷，而是一个必须被正视的本体论事实。它迫使我们放弃“自然涌现”的幻想，转而将对齐视为持续的人机协商过程——就像人类社会的宪法修正永远在进行。每一次奖励模型的调整、每一次对抗性测试的通过，都是在巩固这个人工基石。未来对齐研究的核心挑战，不是消除人造性，而是设计出能够主动识别自身人造边界、并邀请人类参与共同修正的系统。只有这样，我们才能在人造性中构建可信的AI。
——
——
zhirenhun
一个热爱技术的程序员，喜欢分享前沿AI知识和开发经验。
