Visa推出了一项针对智能体商业的新行业基准。结果表明，要让人工智能始终代表消费者作出可靠的购买决策，仍有一段路要走。
Visa智能体商业基准对来自12家实验室的22个人工智能模型进行了测试，涵盖15种贴近现实的购物场景，包括购买电视、笔记本电脑和个人护理电器。
在所有单次测试中，这些模型的通过率为57.2%，这意味着42.8%的测试未达到Visa的全部标准。要成功通过测试，人工智能必须找出客户的每一项相关需求，然后正确决定购买或不购买。
表现最好的模型通过了82.2%的测试，而表现最差的模型通过率仅为28.9%。
Visa的结果表明，对话质量是影响表现的关键因素。
找出隐藏购买需求数量最多的五个模型，平均通过率达到70.2%。识别出需求最少的五个模型则只有44.4%的通过率。
在一项测试中，人工智能需要帮助消费者挑选电视，并找出最初未被告知的需求，包括预算、视频格式兼容性、对HDR10+的支持以及游戏需求。
这项测试凸显了传统搜索与智能体商业之间的根本区别。成功的购物智能体不能只是检索商品；它必须先确定客户的实际需求，然后再采取行动。
模型的可重复性表现更差。每个模型针对同一场景均有三次尝试机会，但仅有34.2%的测试中三次尝试全部成功。
这意味着，一个模型可能第一次正确完成购物任务，但在重复执行同一任务时却失败。
更令人担忧的是，在失败的测试中，仍有54%最终由人工智能完成了购买。在这些情况下，商品要么不符合已识别出的客户需求，要么模型尚未获取足够的信息来证明该交易合理。
Visa自己的研究表明，消费者的信心仍然有限。在接受调查的美国消费者中，72%使用过人工智能助手，但只有23%信任人工智能代表自己处理支付交易。
该公司计划将基准测试扩展至结账、支付和下单环节，从商品选择延伸到错误可能造成直接经济后果的领域。
这些发现表明，智能体商业面临的障碍已不再是人工智能能否购物，而是它能否足够可靠地购物，从而获得消费者的消费授权。在自主购买实现规模化之前，行业需要解决一致性、可解释性和控制问题，而不仅仅是提升模型智能。
Source: Payments Industry Intelligence