今年春天，美军战机已经升空，美国官员却在此刻发现了一个令人警觉的问题：驱动这次针对一艘中国船只的武装行动的情报，竟是由一款人工智能聊天机器人凭空“幻觉”生成的。据CNN周五报道，该行动在最后一刻被叫停，险些与中国爆发冲突。
这一事件凸显出军方官员与外部专家日益加剧的担忧：随着决策者越来越倚重人工智能，这些系统产生的错误可能在尚未受到质疑之前，就已沿着指挥链条一路向上传递。
这份情报报告在与伊朗交战期间流转，称该船载有用于核武器项目的部件。
虚假情报源自特种作战司令部的一名分析员。他调用一款AI聊天机器人，试图将开源数据与机密信号情报加以综合，而聊天机器人错误识别了该船的货物清单。随后，该分析员再次使用这一工具，把错误结论整理成一份看上去颇为正式的摘要，并在各指挥渠道间流转。
这起险情发生之际，美军正竞相整合人工智能，以加快决策速度、保持对中国的优势。五角大楼称，AI在加速“杀伤链”方面带来显著优势，使指挥官能够及时作出反应。但正是这种让AI充满吸引力的速度，也可能让“幻觉”在人类监督不足的情况下趁虚而入。
“服役人员必须理解大语言模型固有的不确定性，”GovAI研究学者、美国陆军退伍军官杰克·斯特克勒在给TechCrunch的书面回复中表示，“但对于任何可能导致动用武力的决策——比如目标选定、情报分析或作战规划——这一点尤为关键。这些决策关乎生死。”
不过，斯特克勒表示，这一事件应被视为呼吁为AI增设更多保障措施的警钟，而非回避AI的理由。“在合适的场景下、有适当保障措施时，这些工具可以发挥作用，”他说，“但若把采用速度置于一切之上，很可能引发更多事件，只会让服役人员对这些系统失去信任，最终反而拖慢采用进程。”
