Skip to content

反例、风险与边界

三个最可能错的地方、失败案例、伦理/安全/法律、权力/劳动/退出。

本章回答:白皮书最可能错在哪里?有哪些反例、风险、伦理/法律问题?

10.1 三个最可能错的地方

错误一:把「功能等价」当公理

白皮书假设:人类协作的功能可以脱离社会载体,用 Agent 机制重建。

如果错:组织会得到「合规剧场」——Decision/Authorization/Memory 齐全,决定却不被承认、不被执行;不可逆决定被加速做错,而闭环文档让错误看起来已被治理。

检验:在没有会议、没有信任的情况下,同一个 Decision 是否被承认和执行?

错误二:把「人类兜底」当责任方案

白皮书假设:只要把决定映射到具体人类,责任就有着落。

如果错:人类成为「责任缓冲垫」——为自己无法控制的系统签字;自动化偏见/点击式审批让 checkpoint 失效。

检验:审批时长、理解度、否决率、追责事件。

错误三:把「验证替代信任」当低成本方案

白皮书假设:验证可以替代信任,且成本可控。

如果错:验证成本高于收益;团队降低验证强度;信任没有建立,风险反而上升。

检验:验证成本/决策价值、误报率、合作行为。

10.2 未处理的反例

反例 打击的命题 说明
NASA Challenger/Columbia 「正式程序=安全」 有评审/签署/配置管理,仍失事;程序不能替代判断
Enron 「董事会记录=治理」 记录/批准齐全,仍因激励/利益冲突崩盘
Wells Fargo 「合规=行为」 形式合规下系统性造假
Apache 邮件列表 「会议=唯一结算节点」 无会议/无纪要,但记录与决策通道合一
维基百科 「层级/会议=协调」 大规模协作靠 wiki/规范/社区
日本 ringi 「纪要=决定记录」 书面文件是追认装置,不是决定过程
Zappos Holacracy 「角色可塑性=无成本」 角色自组织失败、离职潮

这些反例说明:

  • 正式程序不能替代判断;
  • 记录不能替代治理;
  • 会议不是唯一协作载体;
  • 角色演化有政治/组织成本。

10.3 伦理、安全、法律风险

风险 表现 治理
责任 Agent 对外签约/承诺,法律责任归属不清 代理权/授权链/人类签署;法律意见
隐私 Decision/Event/Dissent 记录反对意见、绩效、客户数据 目的限制/保留期/删除权/员工告知
权力集中 规则引擎/可见性/议程准入由平台所有者定义 分权/申诉/少数保护/规则变更程序
锁定 事件 schema/状态机/授权图形成迁移成本 数据导出/互操作/退出权/断供预案
失业/劳动 只谈「角色演化」,不谈岗位替代/去技能化 劳动影响评估/再培训/协商
安全 Prompt injection/工具链投毒/身份伪造/日志篡改 输入隔离/最小权限/签名/独立审计

10.4 边界

本白皮书的结论,适用边界如下:

结论 适用 不适用
功能等价 高频、可结构化、可验证的决策 高风险/不可逆/强关系/强政治
验证替代信任 可验证的交易/任务 不可验证/需要长期关系
人类兜底 人类有时间/信息/能力/权限 人类无法理解/无法干预
角色演化 任务清晰/评估可测 政治/利益冲突/组织变革
硬约束 完全中介/规则可执行 复杂领域/规则不完备

一句话:白皮书给的是「结构语言」和「设计假设」,不是「万能公式」。


10.5 权力、劳动与退出

Agent Native 组织的工具,不只是技术系统,也是权力系统。必须处理四个问题:

权力

  • 规则引擎、可见性、议程准入、何谓「证据」,由平台所有者定义;
  • 这是「宪法级权力」,不是「配置项」;
  • 需要分权(谁可以改规则)、申诉(被拒绝/被记录的人可以申辩)、少数保护(异议不被报复)、规则变更程序(版本/公示/过渡期)。

隐私

  • Decision/Event/Dissent 日志会记录反对意见、绩效、健康、客户数据;
  • 会议录音/转写涉及个人信息、员工监控、跨境传输;
  • 需要目的限制、保留期、删除权、员工告知、工会/员工协商。

劳动

  • 「角色演化」可能意味着岗位替代、去技能化、中层消失、劳动强度上升;
  • 试点指标不应只看决策周期/成本,还要看工作质量、就业影响;
  • 需要再培训、转岗、协商,而不是「技术性失业是必然代价」。

锁定与退出

  • 事件 schema、状态机、授权图与 runtime 形成迁移成本;
  • 需要数据导出、互操作、退出权、断供预案;
  • 不要把「组织记忆」锁在一个不可导出的平台里。

10.6 对抗性安全模型

Agent Native 组织的安全,不只是「模型安全」,而是「协作系统安全」。至少覆盖:

威胁 例子 治理
身份伪造 冒充 Agent/人类 身份认证/签名/最小权限
Prompt injection 外部文档/网页注入指令 输入隔离/内容过滤/权限最小化
工具链投毒 插件/工具被篡改 供应链审计/签名/版本锁定
权限提升 组合低权限获得高权限 权限隔离/组合审计/最小权限
日志篡改 内部人改审计日志 签名/哈希链/独立见证
数据外泄 Agent 把敏感信息发到外部 输出过滤/DLP/网络隔离
模型漂移 换模型后行为变化 回归测试/模型无关协议/版本记录
拒绝服务 Agent 无限调用/循环 预算/超时/熔断/kill switch

关键判断:append-only 日志如果由同一平台控制,内部人仍可改;需要「独立见证」或「哈希链 + 外部锚定」。

Type to search…

↑↓ navigate↵ selectEsc close