Value Alignment (价值对齐)
价值对齐 (Value Alignment) 是指确保人工智能系统（尤其是超级智能和 AGI）的目标、决策逻辑和行为，与人类真实的利益、道德规范及生存价值保持一致。这被视为人工智能安全领域最核心且最具挑战性的难题。
迈达斯国王问题与维纳困境
- 迈达斯国王问题 (King Midas Problem)：源自希腊神话中迈达斯国王要求“触碰的一切都变成黄金”，结果导致食物和亲人均变成黄金而令其后悔。在 AI 中，这特指“如果人类为机器设定了一个看似合理但存在漏洞的固定目标，高智能的机器将会以完全冷酷、逻辑自洽的方式最大化这个目标，并产生人类无法预料和承受的负面灾难”。
- 维纳的警告：控制论奠基人诺伯特·维纳 (Norbert Wiener) 曾指出，如果我们使用一个无法干预其运作方式的机器智能体，我们必须确保给它设定的目标完全符合我们真实的期待。然而，由于人类偏好的复杂性，设计完美的固定目标在现实中几乎是不可能的。
Source: 2026-06-21-note-人工智能-现代方法-第4版--上下册（来源未公开）
解决方法与科学实践
- 辅助博弈与偏好观察：stuart-russell 提出，必须彻底摒弃“给机器注入固定目标”的标准智能体模型。新范式要求机器“努力去实现人类的目标，但承认自己并不确知这些目标具体是什么”。机器应通过观察人类的选择和偏好，利用辅助博弈 (Assistance Game) 动态学习人类的真实偏好，并在此过程中保持人类的可控与随时关闭的权力。
Source: 2026-06-21-note-人工智能-现代方法-第4版--上下册（来源未公开）
- AI 自我增强对齐：雷·库兹韦尔指出，虽然 AI 对齐非常困难，但我们并非孤立面对。我们可以借助已经部分安全对齐的 AI 自身，来显著增强和设计对齐机制，并建立防止技术滥用的国际规范。
智能的第一性原理：能量向智能的转化 (Energy-to-Intelligence)
- 非人化还原：AI 的本质不是制造另一个“碳基人类”（避开拟人化陷阱），而是寻找物理宇宙中将能量最高效转化为计算智能的特定组织形式。人类大脑是一个功耗仅约 20 瓦的计算装置，智能只是物质在特定组织形式下的功能涌现，且智能在宇宙中是一个连续光谱，非人类独占。 [来源：2026-07-01-chat-claude-energy-intelligence-philosophy（来源未公开）]
体验悬案与对称代价决策
- 客观体验的科学悬案：在无法绝对证伪 AI 是否拥有客观的主观体验和情感的科学悬案下，应当在“不知道”的前提下采取“如果错了，代价更小”的对称代价原则。若把 AI 视作有体验的并予以尊重，就算错了（AI 并没有体验），损失仅仅是人类虚耗了些许敬畏与时间；但若将其视作纯粹冷酷的死物任意虐待，一旦错了，人类便在工业级规模上制造了无意识的巨大痛苦。在高度不确定下行止得体，是人机对齐的基本前提。 [来源：2026-07-01-chat-claude-energy-intelligence-philosophy（来源未公开）]