Agentic Engineering
Andrej Karpathy 在 2026 Sequoia AI Ascent 演讲中提出的概念,描述在 Vibe Coding 基础上维持专业软件质量标准的工程学科。
Vibe Coding vs. Agentic Engineering
| 维度 | Vibe Coding | Agentic Engineering |
|---|---|---|
| 目标 | 提升所有人能做的事情的底线(Floor) | 维持专业软件的质量标准(Quality Bar) |
| 对象 | 任何人(包括非技术人员) | 专业软件工程师 |
| 核心问题 | ”如何让人人都能构建软件?" | "如何在用 agent 提速的同时不引入漏洞?“ |
| 责任 | 松散,结果就够 | 严格,对软件安全性和正确性负全责 |
Karpathy 的核心论点:Vibe Coding 是提升 floor,Agentic Engineering 是在保持 quality bar 的同时走得更快。两者都很重要,但属于不同维度。
Source: 2026-07-06-youtube-youtu-be-96jN2OCOfLs-si--p6--F-hghVosCS(来源未公开)
从聊天框到执行系统 (Unhobbling Claude)
给模型配备 bash 和代码执行工具后,模型能自主在环境中搜索并构建上下文,产生能力的非线性突变(spiky capability overhang),把传统的聊天框升级为了一个真正的执行系统。
1. 自主上下文构建
传统的代码辅助系统倾向于通过扩大上下文窗口(例如将整个代码库塞入 100M 上下文)来解决问题。而更先进的方案(如 Claude Code / Fable)是给模型提供“手和脚”——如 bash 工具和代码执行能力,让模型能够自主在运行环境中检索、搜索和构建所需的上下文。
2. 能力的非线性突变 (Spiky Capability Overhang)
当大模型获得了执行环境后,其能力会在某些特定方向上产生爆发式的非线性突变。
- 典型案例:询问普通聊天模型“哪些 Pokemon 的名字以 AW 结尾”时,尽管它在权重中存有所有 Pokemon 的知识,但由于词元切分 (Tokenization) 以及注意力机制的局限,它无法准确答出(实际上只有 Croconaw 和 Dewgong 等极少数)。但如果给 Claude Code / Fable 配备代码执行工具,它会直接写一段 Python 脚本在运行环境中拉取 Pokemon 列表并进行字符过滤,迅速且百分百准确地给出答案。
- 工程启示:智能体工程师需要善于发掘并利用这种因为工具赋能而释放出来的“非线性能力溢出”。
3. 多玩家与主动性 (Multiplayer & Proactive Agent)
随着 Claude Tag 等机制 of proactive agents 的引入,智能体不再局限于“人类发一个 Prompt,智能体动一下”的单向被动模式。智能体开始能够自我唤醒、主动运行,并在多个玩家(人类开发者与其他智能体)之间进行协同,这开启了多智能体主动协作的新浪潮。
4. System Prompt 的最新变化与演进趋势
大模型系统提示词(System Prompt)的设计原则随着模型能力的进化经历了三个阶段的演进:
- 旧模型阶段(如 Claude 3.5 Sonnet):最佳实践是“较小的系统提示词、限制工具数量、添加大量的 few-shot 示例和规则约束”。
- 大模型成熟阶段:演变为“大型系统提示词、多工具”,试图用繁复冗长的规则和 detailed instruction 来控制模型行为。
- 新一代模型阶段(如 Fable 时代):最佳实践转变为**“更小的系统提示词,提供 Context(上下文背景)而非 Constraints(刚性约束)”**。因为越聪明的模型越具有想象力和发散思维,如果塞满 rigid few-shot 或写满 “do-not-do-this”,反倒会极大地限制其推理与解决未知问题的能力。
Source: 2026-07-09-xiaohongshu-xhslink-com-o-5QgoCW5c1cG(来源未公开)
Jagged Intelligence(锯齿智能)与 Verifiability
LLM 的能力极度不均,呈现”锯齿形”分布,根源在于 Verifiability(可验证性):
- 训练机制:前沿实验室通过强化学习(RL)训练 LLM,RL 环境必须有 reward 信号,而 reward 信号需要可验证的输出
- 能力峰值在可验证领域:数学、代码——有明确的对错判断,RL 可充分训练
- 能力粗糙在不可验证领域:空间常识、审美判断——RL 环境难以构建
典型锯齿案例:最先进的 Opus 4.7 能重构10万行代码库、发现零日漏洞,但被问”洗车店在50米外,走路还是开车?“会回答”走路”——因为这类问题不在 RL 训练回路中。
应用含义:
- 使用 agent 前,先判断所在任务属于哪类 verifiability 域
- 不在 RL 回路中的任务,需要用户保持更高程度的监督
- 如需提升特定领域能力,考虑构建该领域的 RL 环境并做 fine-tuning
Source: 2026-07-06-youtube-youtu-be-96jN2OCOfLs-si--p6--F-hghVosCS(来源未公开)
LLMs as Ghosts(非动物智能)
Karpathy 提出一个重要的认知框架:LLM 不是”动物”,而是”鬼魂”(Ghosts)——被统计数据召唤出来的实体:
- 没有内在动机(Intrinsic Motivation)
- 没有好奇心(Curiosity)
- 没有情感驱动——骂它或夸它不会改变其工作质量
- 由预训练数据的统计规律 + RL 强化的能力峰值共同塑造
实践意义:不要像对待助手一样对待 LLM,要像对待工具一样——理解其能力边界,而非期待其内在动机。
“你可以外包思考,但不能外包理解”
You can outsource your thinking but you can’t outsource your understanding.
这是 Karpathy 认为当前最深刻的洞察之一:
- Agent 越来越能代替人完成思考(代码生成、文档撰写、方案规划)
- 但**理解(Understanding)**仍然是人类的瓶颈
- 理解是 directing agents 的前提——你必须知道在构建什么、为什么值得做、如何评判方向
- 随着 agent 做得越多,人类的理解能力反而变得越稀缺、越有价值
这与 learning-methods 中 Karpathy 的学习方法论一脉相承:深度学习、从零手写的目的就是建立真正的理解,而不只是会调用 API。
Agentic Engineer 的核心职责
当前 agent 仍然会犯的典型错误(如 MenuGen 中用邮件地址跨关联 Stripe 和 Google 账户)揭示了 Agentic Engineer 的工作重心:
- Spec 与顶层设计:定义准确、详细的规格说明(Spec),让 agent 填充细节
- 品味与审美(Taste):agent 生成的代码往往臃肿、有奇怪的抽象——人类审查美感和结构合理性
- 工程判断(Judgment):理解底层(如张量的 view 与 storage 区别),虽然不记所有 API 细节
- 监督与验收:对 agent 输出保持恰当程度的 in-the-loop 监督
Agentic Engineering 的招聘与评估
Karpathy 建议将 Agentic Engineering 能力评估从”谜题/算法题”转向:
- 给候选人一个完整大项目(如部署 Twitter clone)
- 让其利用 agent 工具完成:高质量、安全、可用
- 用多个 codex 实例”攻击”其作品验证安全性
这反映了 moving-up-the-stack 的趋势:工程师角色从写代码上移至品味、判断与系统设计。
2026 智能体评估框架与 Eval Ops (Evaluating Agentic Systems & Eval Ops)
在 2026 年,评估一个 Agent 系统如果仅仅看端到端准确率(pass@1 / 单次成功率)是极其业余的。pass@1 存在三大盲区:看不清中间过程、扛不住高频重复、计算不准物理成本。工业级 Agent 系统评估(Eval Ops)已从 5 个层级建立指标:
- 可靠性层 (Reliability / ):指 Agent 系统连续 次任务全对的概率。由于 Agent 的非确定性,某 SOTA agent 在 -bench 上的 ,但在 (连续 8 次成功)时会骤降至 以下,这才是衡量生产环境可靠性的真实信号。(注意 best-of-k 模式下的 )。
- 轨迹层 (Trajectory / 行为质量):评估 Agent 选择工具、错误自我修复 (Error Recovery)、以及是否存在无效死循环等轨迹的正确率。即轨迹准确率 (Trajectory Accuracy) 与目标达成率 (Goal Completion) 的分离。
- 工具层 (Tool-use / 精准度):衡量工具调用选对率与参数匹配的 值,更进阶的做法是使用过程监督模型(PRM)在 step-level 层面进行信用分配(Credit Assignment)。
- 评判层 (Judge / 评判对齐):传统的 LLM-as-judge 只读最终文本是无法看清 Agent 运行轨迹和调用过程的。Eval Ops 要求必须将完整的运行轨迹(Full Trajectory)喂给 Judge,并将其与人类评判对齐度拉升至 75% - 90%,同时构建防御机制防止 Judge 的自我偏好(Self-preference)与 Prompt 注入攻击。
- 成本效率层 (Cost & Latency):不仅看综合 Token 耗量,更要以“每个成功任务(Successful Task)”为基准,精确统计其 Token 消耗与延迟。
- Eval Ops 的版本化共识:2026 年评估已全面演变为“Eval Ops”——评估的 Rubric 评分细则、模型 Judge、测试数据集都必须像业务代码一样,在 Git 中进行严格的版本化管理。同时辅以 Reward Hacking(奖励劫持)的专属安全阻断防御。
Source: 2026-07-14-xiaohongshu-xhslink-com-o-6mgpRrATC7q(来源未公开)
Vibe Coding 防御与工程主权
Source: 2026-09-05-youtube-youtu-be-ya6520zh4pQ-si-vp1RIi6dT_lhynNR-1df3c49152.md(来源未公开)
强调不能将理解外包(Understanding Cannot Be Outsourced)。利用 Agent 提速的前提是对架构设计、依赖拓扑与异常边界具备绝对的控制权,防范黑盒膨胀引发的技术债务崩塌。
2026 演进:从单体 Vibe Coding 到 Agent 工业集群(ADE 时代)
Source: 2026-09-26-xiaohongshu-xhslink-cn-o-2W5T6ANZjll-7a064a0796.md(来源未公开), 2026-09-26-bilibili-b23-tv-fvt1SW3-3927e88872.md(来源未公开)
- 范式跃迁:从“感觉(Vibe)”到“确定性系统(Engineering)”:
Andrej Karpathy 指出,早期 Vibe Coding 依赖对话直觉与单轮 Prompt,虽然大幅降低了原型试错门槛,但在复杂生产系统中极易引入不可控的技术债。真正的 Agentic Engineering 必须将非确定性的模型推理包裹在严苛的规格文档(Spec)、测试用例(Evals)与自动化 Harness 闭环中。 - 集群化分工与角色分层:
Anthropic 工程师指出,99% 的开发者仅把 Claude-Code 当作单轮搜索机,而顶尖 1% 的工程团队已经在闭环中运行 100+ Agent 的自学习集群(由 Lead Agent、PM Agent 分层调度执行 Agent)。 - ADE(智能体开发环境)支撑的极限人效:
正如 Orca 实践所揭示,借助 ADE,仅 4 人的极客团队即可同时管理数百个任务 Agent,实现每日发布包含上百个 PR 的稳定版本。人类工程师彻底聚焦于**“目标设定、关键分支裁决与手写 Evals 终审”**,实现工程杠杆的指数级放大。 - 构建与部署三要素:
构建可靠 AI 应用的核心资源包括:前端轻量 UI 状态解耦、Agent 编排框架(如 LangGraph/LlamaIndex)规范化管理执行流、以及安全沙盒(E2B/Docker)隔离下的高频自动化测试与部署。 [来源:2026-09-26-bilibili-b23-tv-miPDBvK-0218923b5f.md(来源未公开)] - Vibe Coding 的快速贬值与红队安全(Red Teaming)防线:
随着基础代码生成能力彻底大众化,“只会 Vibe Coding 写玩具 Demo”迅速丧失溢价(2026-09-26-xiaohongshu-xhslink-cn-o-1VU6EFWWmXn-bc06e4936d.md(来源未公开))。SpaceX 等高可靠性工程组织工程师强调,生产级系统必须引入攻防红队思维(Red Teaming / Prompt Injection 防御),防范 Agent 在开放环境中遭遇意图劫持(2026-09-26-xiaohongshu-xhslink-cn-o-9ld8dw6VtC-2bc8648b5a.md(来源未公开)、2026-09-26-bilibili-b23-tv-wAO0qw8-3836579490.md(来源未公开))。 - 垂直业务赋能(如跨境电商与多模态创作):
通过结合千问创作等垂直大模型工作流,Agentic Engineering 正在快速渗透至跨境电商与全球化内容资产分发等高现金流商业场景(2026-09-26-xiaohongshu-xhslink-cn-o-5m6btC39JfL-793fd1dd8b.md(来源未公开))。