大家都在搜

一句“爸爸我爱你”被判违规:内容安全的成本,最后是用户付



  系统没错到离谱,只是把“爱”认成了别的字。但这种错,落在了一个十岁生日上。

  图 10

  事情很小,也很大。

  一位蔚来ES9车主,在女儿十岁生日那天,想用车的灯光秀功能,把手写的“爸爸我爱你”投影出去。提交之后,系统反复提示内容违规,投影不出来。他不信,改成“妈妈我爱你”,正常生成。

  这条对比视频发出来之后,讨论很快就上去了。11月18日,蔚来副总裁马麟回应:确实是把“爱”识别错了,识别成了别的字,由此触发了内容限制;这个限制策略不合理,已经修复。据报道,修复在11月17日下午完成,专属顾问也联系了车主。

  技术原因不难理解。灯光秀支持手写自定义文字,出于内容安全考虑,系统上了OCR识别加敏感词校验。手写体的字形变化极大,同一个“爱”字,十个人写十个样,视觉模型认错一两个笔画很正常。认错之后,识别结果再和敏感词库做组合匹配,就可能撞上一条不该撞的规则。

  问题在于,这套机制的容错设计是单向的。它默认“宁可错杀”,因为错杀的代价是某个用户投不出字,而漏放的代价可能是舆情。从产品经理的角度,这个选择很容易做;从用户的角度,这个代价正好落在了一个十岁生日的晚上。

  我想说的重点不是“审核太严”,也不是“AI 不靠谱”。是这类功能的设计里,缺了一个东西:申诉和兜底。

  一个负责任的做法至少有三层。第一层是识别置信度——模型对某个字的把握低于阈值时,应该提示“没认清楚,请重写”,而不是直接判违规。第二层是人工兜底——被拦截的内容给一个申诉入口,几分钟内有人看,而不是让用户自己猜哪里犯了忌。第三层是场景白名单——生日、婚礼、纪念日这类明确的私人场景,可以给一个更宽松的策略,因为投影范围就在车头几米内,本来也不是公共传播。

  这三层,成本都不高,但都需要有人在设计阶段想到“用户会被误伤”这件事。多数产品是在被误伤之后才补上的,这次补得算快,一天之内承认、定位、修复、致歉,这个反应速度值得肯定。

  不过我还是想留一句:技术公司最容易犯的错,是把“合规”当成一个黑箱,塞进去就不管了。合规是有成本的,成本不会消失,只会转移——转到用户的生日、婚礼、告别仪式上。真正把体验当回事的公司,会主动去接这个成本,而不是让它落到用户头上。




上一篇:碧桂园一周新增8宗诉讼、3.74亿逾期:周度公告在看什么
下一篇:黄仁勋说愿意回来,英伟达同一天说不需要