核心问题

系统的决定是否对不同人产生了不合理的不公平？

软件系统经常看起来中立：

只是一个排序算法。
只是一个推荐模型。
只是一个风控规则。
只是一个审核策略。
只是一个评分系统。

但这些系统都会影响用户机会：

  • 谁被看见？
  • 谁被推荐？
  • 谁被拒绝？
  • 谁被审核？
  • 谁被限流？
  • 谁被标记为风险？
  • 谁更容易获得资源？

所以公平性不是只属于 AI 模型的问题。

任何做排序、推荐、分配、审核、风控的系统，都有公平性问题。

偏见不一定来自恶意

很多偏见不是有人故意歧视。

它可能来自：

  • 历史数据本身有偏
  • 样本不均衡
  • 代理变量
  • 指标选择
  • 反馈回路
  • 冷启动问题
  • 审核标准不一致
  • 系统默认值

例如课程推荐系统只优化点击率。

结果可能是：

  • 标题党课程获得更多曝光
  • 深度课程被压下去
  • 新讲师没有机会
  • 已经热门的课程越来越热门
  • 小众主题永远没有足够数据

系统没有恶意，但结果仍然偏。

核心句：

偏见常常不是写在代码里的歧视，而是藏在数据、指标和反馈回路里的倾斜。

指标就是价值判断

推荐系统优化什么，就会塑造什么。

如果优化：

click-through rate

系统会偏向吸引点击的内容。

如果优化：

watch time

系统会偏向让用户停留更久的内容。

如果优化：

course completion

系统可能偏向短课程或容易完成的课程。

如果优化：

revenue

系统可能偏向高价课程。

没有中立指标。

每个指标都在告诉系统：

什么结果更重要。

所以设计指标时要问：

  1. 这个指标鼓励什么行为？
  2. 它会牺牲什么？
  3. 谁会因此受益？
  4. 谁会因此被边缘化？
  5. 有没有 guardrail metric？

代理变量

有时候系统没有直接使用敏感属性，但用了代理变量。

例如不使用年龄，但使用：

毕业年份
工作年限
职位级别

不使用地区，但使用：

邮编
学校
公司
IP 地址
设备价格

这些变量可能间接反映敏感属性。

所以公平性检查不能只问：

我们有没有用敏感字段？

还要问：

有没有变量在事实上充当敏感字段的代理？

反馈回路会放大偏见

排序和推荐系统特别容易形成反馈回路。

例如：

热门课程获得更多曝光
  -> 更多点击
  -> 更多购买
  -> 系统认为它更好
  -> 获得更多曝光

这会造成 winner-takes-all。

新课程、新讲师、小众主题很难突破。

如果系统只相信历史表现，就会持续奖励已经有优势的人。

缓解方式：

  • 新内容探索流量
  • 曝光配额
  • 多样性约束
  • 分层排序
  • 冷启动扶持
  • 指标分组观察

审核与风控的误伤

风控系统通常在两个错误之间权衡：

  • False Positive：误杀正常用户
  • False Negative：放过坏行为

例如反作弊系统：

误杀：正常用户被封号。
漏判：作弊用户继续获利。

不同业务会选择不同权衡。

但伦理问题在于：

被误伤的人是否有申诉和纠错路径？

如果系统自动封号，但用户无法知道原因、无法申诉、无法恢复，那就把机器判断变成了不可挑战的权力。

公平性需要分组观察

整体指标正常，不代表每个群体都正常。

例如：

总体课程推荐点击率提升 5%

但拆开看：

头部讲师 +12%
新讲师 -18%
英语课程 +9%
小语种课程 -25%
高价课程 +15%
免费课程 -8%

所以公平性需要分组指标。

可能的分组：

  • 新用户 / 老用户
  • 新创作者 / 头部创作者
  • 不同地区
  • 不同语言
  • 不同组织规模
  • 不同价格区间
  • 不同课程主题
  • 被风控命中 / 未命中用户

注意：分组观察本身也要遵守隐私和合规，不能为了公平性无限收集敏感数据。

Explainability：给出可理解原因

当系统做出影响用户机会的决定时，应该尽可能提供解释。

例如：

你的课程暂未推荐，因为缺少封面图、课程完成率数据不足、最近退款率较高。

比：

系统评估未通过。

更有帮助。

可解释性不是要求暴露所有算法细节，而是：

用户应该知道自己被影响的大致原因，以及是否有改善或申诉路径。

Human Review：人类复核

高影响决策不应完全没有人工纠错。

例如：

  • 封号
  • 拒绝提现
  • 下架课程
  • 拒绝企业认证
  • 标记欺诈
  • 大额退款拒绝

如果自动系统做错，用户需要有路径让人介入。

人工复核也要有标准，否则会变成另一种不一致。

需要：

  • 审核指南
  • 决策理由
  • 审核记录
  • 二次复核
  • 质量抽检

公平性检查清单

设计排序、推荐、审核、风控系统时问：

  1. 这个系统影响谁的机会或权利？
  2. 优化指标是什么？它鼓励什么？
  3. 有没有 guardrail metric？
  4. 是否可能使用敏感属性的代理变量？
  5. 是否会形成强者更强的反馈回路？
  6. 新用户、新内容、小群体是否有机会？
  7. 是否观察分组指标？
  8. 误伤用户是否能知道原因？
  9. 是否有申诉或人工复核路径？
  10. 是否能审计过去的决定？

小结

  1. 公平性不只属于 AI，所有排序、推荐、审核、风控系统都有公平性问题。
  2. 偏见常藏在数据、指标和反馈回路里，不一定来自恶意。
  3. 指标是价值判断，没有中立指标。
  4. 代理变量可能间接引入敏感属性。
  5. 总体指标正常，不代表每个群体都正常。
  6. 高影响自动决策需要解释和申诉路径。
  7. 公平性不是让系统没有差异，而是避免不合理、不可解释、不可纠正的不公平。