本章回答:白皮书最可能错在哪里?有哪些反例、风险、伦理/法律问题?
10.1 三个最可能错的地方
错误一:把「功能等价」当公理
白皮书假设:人类协作的功能可以脱离社会载体,用 Agent 机制重建。
如果错:组织会得到「合规剧场」——Decision/Authorization/Memory 齐全,决定却不被承认、不被执行;不可逆决定被加速做错,而闭环文档让错误看起来已被治理。
检验:在没有会议、没有信任的情况下,同一个 Decision 是否被承认和执行?
错误二:把「人类兜底」当责任方案
白皮书假设:只要把决定映射到具体人类,责任就有着落。
如果错:人类成为「责任缓冲垫」——为自己无法控制的系统签字;自动化偏见/点击式审批让 checkpoint 失效。
检验:审批时长、理解度、否决率、追责事件。
错误三:把「验证替代信任」当低成本方案
白皮书假设:验证可以替代信任,且成本可控。
如果错:验证成本高于收益;团队降低验证强度;信任没有建立,风险反而上升。
检验:验证成本/决策价值、误报率、合作行为。
10.2 未处理的反例
| 反例 | 打击的命题 | 说明 |
|---|---|---|
| NASA Challenger/Columbia | 「正式程序=安全」 | 有评审/签署/配置管理,仍失事;程序不能替代判断 |
| Enron | 「董事会记录=治理」 | 记录/批准齐全,仍因激励/利益冲突崩盘 |
| Wells Fargo | 「合规=行为」 | 形式合规下系统性造假 |
| Apache 邮件列表 | 「会议=唯一结算节点」 | 无会议/无纪要,但记录与决策通道合一 |
| 维基百科 | 「层级/会议=协调」 | 大规模协作靠 wiki/规范/社区 |
| 日本 ringi | 「纪要=决定记录」 | 书面文件是追认装置,不是决定过程 |
| Zappos Holacracy | 「角色可塑性=无成本」 | 角色自组织失败、离职潮 |
这些反例说明:
- 正式程序不能替代判断;
- 记录不能替代治理;
- 会议不是唯一协作载体;
- 角色演化有政治/组织成本。
10.3 伦理、安全、法律风险
| 风险 | 表现 | 治理 |
|---|---|---|
| 责任 | Agent 对外签约/承诺,法律责任归属不清 | 代理权/授权链/人类签署;法律意见 |
| 隐私 | Decision/Event/Dissent 记录反对意见、绩效、客户数据 | 目的限制/保留期/删除权/员工告知 |
| 权力集中 | 规则引擎/可见性/议程准入由平台所有者定义 | 分权/申诉/少数保护/规则变更程序 |
| 锁定 | 事件 schema/状态机/授权图形成迁移成本 | 数据导出/互操作/退出权/断供预案 |
| 失业/劳动 | 只谈「角色演化」,不谈岗位替代/去技能化 | 劳动影响评估/再培训/协商 |
| 安全 | Prompt injection/工具链投毒/身份伪造/日志篡改 | 输入隔离/最小权限/签名/独立审计 |
10.4 边界
本白皮书的结论,适用边界如下:
| 结论 | 适用 | 不适用 |
|---|---|---|
| 功能等价 | 高频、可结构化、可验证的决策 | 高风险/不可逆/强关系/强政治 |
| 验证替代信任 | 可验证的交易/任务 | 不可验证/需要长期关系 |
| 人类兜底 | 人类有时间/信息/能力/权限 | 人类无法理解/无法干预 |
| 角色演化 | 任务清晰/评估可测 | 政治/利益冲突/组织变革 |
| 硬约束 | 完全中介/规则可执行 | 复杂领域/规则不完备 |
一句话:白皮书给的是「结构语言」和「设计假设」,不是「万能公式」。
10.5 权力、劳动与退出
Agent Native 组织的工具,不只是技术系统,也是权力系统。必须处理四个问题:
权力
- 规则引擎、可见性、议程准入、何谓「证据」,由平台所有者定义;
- 这是「宪法级权力」,不是「配置项」;
- 需要分权(谁可以改规则)、申诉(被拒绝/被记录的人可以申辩)、少数保护(异议不被报复)、规则变更程序(版本/公示/过渡期)。
隐私
- Decision/Event/Dissent 日志会记录反对意见、绩效、健康、客户数据;
- 会议录音/转写涉及个人信息、员工监控、跨境传输;
- 需要目的限制、保留期、删除权、员工告知、工会/员工协商。
劳动
- 「角色演化」可能意味着岗位替代、去技能化、中层消失、劳动强度上升;
- 试点指标不应只看决策周期/成本,还要看工作质量、就业影响;
- 需要再培训、转岗、协商,而不是「技术性失业是必然代价」。
锁定与退出
- 事件 schema、状态机、授权图与 runtime 形成迁移成本;
- 需要数据导出、互操作、退出权、断供预案;
- 不要把「组织记忆」锁在一个不可导出的平台里。
10.6 对抗性安全模型
Agent Native 组织的安全,不只是「模型安全」,而是「协作系统安全」。至少覆盖:
| 威胁 | 例子 | 治理 |
|---|---|---|
| 身份伪造 | 冒充 Agent/人类 | 身份认证/签名/最小权限 |
| Prompt injection | 外部文档/网页注入指令 | 输入隔离/内容过滤/权限最小化 |
| 工具链投毒 | 插件/工具被篡改 | 供应链审计/签名/版本锁定 |
| 权限提升 | 组合低权限获得高权限 | 权限隔离/组合审计/最小权限 |
| 日志篡改 | 内部人改审计日志 | 签名/哈希链/独立见证 |
| 数据外泄 | Agent 把敏感信息发到外部 | 输出过滤/DLP/网络隔离 |
| 模型漂移 | 换模型后行为变化 | 回归测试/模型无关协议/版本记录 |
| 拒绝服务 | Agent 无限调用/循环 | 预算/超时/熔断/kill switch |
关键判断:append-only 日志如果由同一平台控制,内部人仍可改;需要「独立见证」或「哈希链 + 外部锚定」。