---
title: "反例、风险与边界"
description: "三个最可能错的地方、失败案例、伦理/安全/法律、权力/劳动/退出。"
---

> Documentation Index
> Fetch the complete documentation index at: https://collaboration-structure.varnothing.works/llms.txt
> Use this file to discover all available pages before exploring further.

# 反例、风险与边界

> 本章回答：白皮书最可能错在哪里？有哪些反例、风险、伦理/法律问题？

## 10.1 三个最可能错的地方

### 错误一：把「功能等价」当公理

白皮书假设：人类协作的功能可以脱离社会载体，用 Agent 机制重建。

**如果错**：组织会得到「合规剧场」——Decision/Authorization/Memory 齐全，决定却不被承认、不被执行；不可逆决定被加速做错，而闭环文档让错误看起来已被治理。

**检验**：在没有会议、没有信任的情况下，同一个 Decision 是否被承认和执行？

### 错误二：把「人类兜底」当责任方案

白皮书假设：只要把决定映射到具体人类，责任就有着落。

**如果错**：人类成为「责任缓冲垫」——为自己无法控制的系统签字；自动化偏见/点击式审批让 checkpoint 失效。

**检验**：审批时长、理解度、否决率、追责事件。

### 错误三：把「验证替代信任」当低成本方案

白皮书假设：验证可以替代信任，且成本可控。

**如果错**：验证成本高于收益；团队降低验证强度；信任没有建立，风险反而上升。

**检验**：验证成本/决策价值、误报率、合作行为。

## 10.2 未处理的反例

| 反例 | 打击的命题 | 说明 |
| --- | --- | --- |
| NASA Challenger/Columbia | 「正式程序=安全」 | 有评审/签署/配置管理，仍失事；程序不能替代判断 |
| Enron | 「董事会记录=治理」 | 记录/批准齐全，仍因激励/利益冲突崩盘 |
| Wells Fargo | 「合规=行为」 | 形式合规下系统性造假 |
| Apache 邮件列表 | 「会议=唯一结算节点」 | 无会议/无纪要，但记录与决策通道合一 |
| 维基百科 | 「层级/会议=协调」 | 大规模协作靠 wiki/规范/社区 |
| 日本 ringi | 「纪要=决定记录」 | 书面文件是追认装置，不是决定过程 |
| Zappos Holacracy | 「角色可塑性=无成本」 | 角色自组织失败、离职潮 |

**这些反例说明**：

- 正式程序不能替代判断；
- 记录不能替代治理；
- 会议不是唯一协作载体；
- 角色演化有政治/组织成本。

## 10.3 伦理、安全、法律风险

| 风险 | 表现 | 治理 |
| --- | --- | --- |
| 责任 | Agent 对外签约/承诺，法律责任归属不清 | 代理权/授权链/人类签署；法律意见 |
| 隐私 | Decision/Event/Dissent 记录反对意见、绩效、客户数据 | 目的限制/保留期/删除权/员工告知 |
| 权力集中 | 规则引擎/可见性/议程准入由平台所有者定义 | 分权/申诉/少数保护/规则变更程序 |
| 锁定 | 事件 schema/状态机/授权图形成迁移成本 | 数据导出/互操作/退出权/断供预案 |
| 失业/劳动 | 只谈「角色演化」，不谈岗位替代/去技能化 | 劳动影响评估/再培训/协商 |
| 安全 | Prompt injection/工具链投毒/身份伪造/日志篡改 | 输入隔离/最小权限/签名/独立审计 |

## 10.4 边界

本白皮书的结论，适用边界如下：

| 结论 | 适用 | 不适用 |
| --- | --- | --- |
| 功能等价 | 高频、可结构化、可验证的决策 | 高风险/不可逆/强关系/强政治 |
| 验证替代信任 | 可验证的交易/任务 | 不可验证/需要长期关系 |
| 人类兜底 | 人类有时间/信息/能力/权限 | 人类无法理解/无法干预 |
| 角色演化 | 任务清晰/评估可测 | 政治/利益冲突/组织变革 |
| 硬约束 | 完全中介/规则可执行 | 复杂领域/规则不完备 |

**一句话**：**白皮书给的是「结构语言」和「设计假设」，不是「万能公式」。**

---

## 10.5 权力、劳动与退出

Agent Native 组织的工具，不只是技术系统，也是权力系统。必须处理四个问题：

### 权力

- 规则引擎、可见性、议程准入、何谓「证据」，由平台所有者定义；
- 这是「宪法级权力」，不是「配置项」；
- 需要分权（谁可以改规则）、申诉（被拒绝/被记录的人可以申辩）、少数保护（异议不被报复）、规则变更程序（版本/公示/过渡期）。

### 隐私

- Decision/Event/Dissent 日志会记录反对意见、绩效、健康、客户数据；
- 会议录音/转写涉及个人信息、员工监控、跨境传输；
- 需要目的限制、保留期、删除权、员工告知、工会/员工协商。

### 劳动

- 「角色演化」可能意味着岗位替代、去技能化、中层消失、劳动强度上升；
- 试点指标不应只看决策周期/成本，还要看工作质量、就业影响；
- 需要再培训、转岗、协商，而不是「技术性失业是必然代价」。

### 锁定与退出

- 事件 schema、状态机、授权图与 runtime 形成迁移成本；
- 需要数据导出、互操作、退出权、断供预案；
- 不要把「组织记忆」锁在一个不可导出的平台里。

## 10.6 对抗性安全模型

Agent Native 组织的安全，不只是「模型安全」，而是「协作系统安全」。至少覆盖：

| 威胁 | 例子 | 治理 |
| --- | --- | --- |
| 身份伪造 | 冒充 Agent/人类 | 身份认证/签名/最小权限 |
| Prompt injection | 外部文档/网页注入指令 | 输入隔离/内容过滤/权限最小化 |
| 工具链投毒 | 插件/工具被篡改 | 供应链审计/签名/版本锁定 |
| 权限提升 | 组合低权限获得高权限 | 权限隔离/组合审计/最小权限 |
| 日志篡改 | 内部人改审计日志 | 签名/哈希链/独立见证 |
| 数据外泄 | Agent 把敏感信息发到外部 | 输出过滤/DLP/网络隔离 |
| 模型漂移 | 换模型后行为变化 | 回归测试/模型无关协议/版本记录 |
| 拒绝服务 | Agent 无限调用/循环 | 预算/超时/熔断/kill switch |

**关键判断**：append-only 日志如果由同一平台控制，内部人仍可改；需要「独立见证」或「哈希链 + 外部锚定」。

Source: https://collaboration-structure.varnothing.works/part-3/risks/index.mdx