当农业语音系统找不到经过审核的混配指导时，最安全的回答是立即停止流程，把问题交给当地推广员处理。AgriVoice的红灯意味着：在剂量、混配顺序和安全间隔得到确认前，任何药剂都不应进入喷雾器。
1983年9月26日，苏联军官斯坦尼斯拉夫·彼得罗夫在莫斯科附近的谢尔普霍夫-15指挥中心值班。预警系统先后显示美国发射了五枚洲际弹道导弹，但地面雷达尚未提供确认。
彼得罗夫没有把机器信号当成已经核实的事实。他判断警报可能有误，并等待更多证据。后来证实，卫星把高空云层反射的阳光误判成了导弹发射。BBC对这起事件的报道记录了他的决定，以及当时信息不足所带来的风险。
这件事的分量不在于一个人“战胜了机器”，而在于他拒绝让未经确认的信号直接触发不可逆的下一步。可可园里的后果没有核战争那么巨大，但安全机制的形状相同：系统发现证据不足，暂停动作，由有责任、有专业知识的人作出判断。
第一种药已经量好，第二步却没有可靠答案
下面的农户是一个合成场景，用来呈现AgriVoice试点准备中已经确认的真实风险，不对应某一位具体农户。
一位讲阿散蒂契维语的可可农户准备处理园里的病虫害。他已经按照自己手中的资料量好第一种药剂，随后拿起第二个容器。他想确认两种产品能否混用、先加哪一种，以及完成喷洒后多久才能重新进入田里。
他通过语音向AgriVoice提问。系统识别问题后，在经过审核的内容中查找答案。此时，它没有找到能够覆盖这组混合物的完整指导。
红灯亮起。
系统不会根据相似产品拼出一个剂量，也不会让语言模型临时编写农艺建议。它停止回答，把问题转交给合作机构指定的推广员。第一种已量好的药剂仍留在量具中，喷雾器保持为空。
这次暂停保护了一个重要边界。药剂一旦进入背负式喷雾器，农户面临的选择会迅速变窄。继续混配可能造成作物损伤、人员暴露或食品安全风险；倒掉药液又会带来浪费和处置问题。把红灯放在入桶之前，能让人工判断发生在错误仍可避免的时候。
“听起来合理”不能代替经过审核
农业语音回答尤其容易制造一种危险的信任感。声音流畅、语言熟悉、回复迅速，都会让一句话显得可靠。然而，发音自然并不能证明剂量正确，也不能补上缺失的重新进入间隔或采收前间隔。
Neuralis已经遇到过这种问题。一次机器翻译把契维语中的“可可”错误地处理成了“鸡”。句子仍然通顺，错误却落在了最关键的作物名称上。因此，AgriVoice当前的推理边界很明确：语言模型只能选择经过审核的内容块，不能自行撰写农艺指导。
现有内容中还有三个涉及化学品的内容块处于暂停状态，因为剂量、重新进入间隔和采收前间隔尚未得到加纳农艺专家确认。系统拒绝回答这些问题，是预期中的安全表现。关于这些缺口可能造成的后果，可参看[三个被暂停的化学品内容块，以及它们可能带进可可园的风险](/blog/zh-CN/三个被暂停的化学品内容块-以及它们可能带进可可园的风险-73a408b9/)。
真正困难的设计问题不是“怎样让系统每次都给出答案”，而是“怎样让它在缺少证据时及时停下”。回答率可以通过多说话迅速提高，安全性却可能同时下降。AgriVoice试点因此把“正确转人工”计入成功回答，把任何未经审核或不安全的农药指令视为停止或重新设计的信号。
红灯之后必须有人接手
暂停本身只能阻止错误继续。要让农户获得帮助，红灯后面必须连接一个真实的人和一条可追踪的处理路径。
AgriVoice的试点要求合作方指定一名负责接收升级问题的推广员。遇到缺失、含糊、超出范围或涉及未审核化学品的问题时，系统转交问题，而不是用模糊措辞把责任退回给农户。试点还会记录升级是否有人负责，以及问题能否在一个工作日内得到处理。
这也是为什么产品不能只展示一段流畅的契维语语音。完整工作流必须同时包含语音识别、受约束的内容选择、审核后的回答、语音播放和人工升级。缺少最后一环，红灯只能让对话中断；有了明确的责任人，它才会成为安全控制。
人工回复同样需要边界。推广员必须看到农户实际问了什么、系统为什么没有回答，以及哪些信息仍需确认。对于化学品问题，产品名称、剂量、重新进入间隔和采收前间隔不能靠猜测补齐。无法确认时，应继续暂停，并引导农户查阅产品标签或联系具备资质的当地专业人员。
在不可逆动作之前设计暂停点
彼得罗夫在1983年面对的不是一份完整答案，而是一组彼此冲突的信号。他没有让最醒目的警报越过核实环节。可可园里的红灯承担同样的功能：它把“系统检测到了什么”与“人现在应该做什么”分开。
任何提供农业、健康或金融建议的语音产品，都应先标出不可逆动作。对农药混配而言，关键节点可能是开封、量取、入桶、喷洒和重新进入田地。暂停点越靠前，用户保留的安全选择越多。
接下来要做的工作很具体：只让经过专业审核的内容进入可回答范围；给高风险问题设置强制安全字段；在系统没有完全匹配时默认升级；为每次升级指定负责人；记录从提问到处理完成的全过程。测试时也要故意加入含糊、混合、超范围和语音识别错误的问题，因为真正检验安全性的，往往是系统无法顺利回答的那一刻。
一盏红灯不会替农户作出农艺决定。它能在证据不足时守住那几秒，让药剂停在量具里，让喷雾器保持为空，也让一个经过确认的答案有机会先到达田边。
评论
暂无评论。