清晨,一位可可农户在 WhatsApp 上看到三个不同的产季开始日期时,最有用的回答不是挑一个日期重复,而是把已确认事实、尚未证实的信息和负责核实的机构分开说明。无法确认时,系统应明确表示不确定,并把问题交给指定负责人核实。
想象一下,他还没吃早饭,就收到三条转发消息。第一条说本周开始,第二条说下周,第三条配着一张没有出处的图片,写着另一个日期。三条消息都很肯定,但没有一条说明消息来自哪里、适用于哪个地区,或者谁能确认。
如果他据此安排采收、运输或用工,一个听起来流利的错误答案,可能比沉默更麻烦。
1983年,一台预警系统报告了五枚导弹
1983年9月26日,苏联军官斯坦尼斯拉夫·彼得罗夫在莫斯科附近的谢尔普霍夫-15值班。预警系统先报告一枚美国导弹发射,随后又报告四枚。
屏幕给出了明确警报,后果却无法仅凭屏幕判断。当时的地面雷达尚未提供确认,彼得罗夫还认为,真正的先发核打击不太可能只发射几枚导弹。他没有把系统信号当作已经证实的攻击上报,而是将其判断为误报。
后来调查发现,卫星把高空云层反射的阳光误识别成了导弹发射。BBC在对彼得罗夫的报道中记录了这次事件,以及他在信息不完整时作出的判断。
这个故事的重点不是鼓励个人凭直觉推翻系统。真正值得记住的是,严重后果面前,一个来源给出的高置信度信号仍然需要独立确认。警报、判断和最终验证属于不同层次,混在一起就会让不确定信息看起来像事实。
农户收到三个产季日期时,面对的是同一种信息结构,虽然风险规模完全不同。WhatsApp 转发是一条信号,日期来源决定它能否被信任,相关机构或指定负责人则承担最终核实责任。
一个安全回答应把三层信息说清楚
第一层是已经确认的事实。
如果日期来自可核验的正式通知,回答应说明通知所覆盖的产季、地区和发布方。系统不能把去年的日期、别的地区安排或群聊截图拼成今年的结论。
第二层是仍然存在的不确定性。
如果三条消息互相冲突,而系统没有当前、可追溯的依据,它应该直接说:“我目前无法确认哪一个日期有效。”这句话看似保守,却能阻止农户把未经核实的转发当成行动指令。
第三层是由谁完成验证。
“请自行确认”没有提供真正的下一步。AgriVoice 的设计要求机构合作伙伴指定一名负责人,接收无法安全回答的问题。对于产季日期,这意味着把问题和冲突信息交给负责核实的人,并让农户知道问题已经升级,而不是让他继续在群聊里寻找第四个答案。
同样的原则也适用于农药信息。剂量、重新进入田间的间隔和采收前间隔只要缺一项,系统就应暂停回答。关于这些缺口如何进入实际喷洒风险,可以参看[三个被暂停的化学品内容块,以及它们可能带进可可园的风险](/blog/zh-CN/三个被暂停的化学品内容块-以及它们可能带进可可园的风险-73a408b9/)。
流利不能替代来源
语音系统很容易制造一种危险的体验:农户用熟悉的阿散蒂契维语提问,系统也用自然语音回答,于是答案听起来像经过确认。
Neuralis 对 AgriVoice 采用更窄的边界。语言模型负责选择经过审核的内容块,不负责临场编写农艺建议。找不到合适内容、来源互相冲突或答案不确定时,系统转交人工处理。涉及农药时,未经审核的指导不得送达农户。
这套做法也承认语音链路本身会出错。农户说的是“可可”,识别或翻译环节可能听错;机器翻译甚至曾把表示可可的“kokoo”变成“鸡”。因此,真实的农户语音、转写结果、内容选择和升级记录都需要分别评估。
两周试点要测的也不是“系统回答了多少问题”,而是回答或正确升级的比例、是否出现不安全的农药指导、农户是否听懂,以及人工问题是否有人负责并及时处理。关于负责人和处理时限为何属于安全设计,可以继续阅读[农业语音系统安全升级:阿明的农药问题为何需要负责人和处理时限](/blog/zh-CN/农业语音系统安全升级-阿明的农药问题为何需要负责人和处理时限-1099698a/)。
三个日期出现时,先保住判断边界
农户不需要第四个更响亮的日期。他需要知道哪一项已经确认,哪一项仍有疑问,以及谁会给出可追溯的核实结果。
实际处理可以很简单:保留三条消息的原文或截图,检查每条信息的发布方和适用范围,不从转发次数推断真实性;在确认前,不把任何一个日期写成行动指令;把冲突交给合作机构指定的负责人,并记录最终依据。
1983年的预警屏幕给出了一个明确答案,彼得罗夫仍然区分了系统信号与已确认事实。农业语音系统也需要守住这条边界。速度可以缩短等待时间,只有来源、审查和明确责任人才能让答案值得采取行动。
评论
暂无评论。