动态

当前位置/ 首页/ 动态/ 正文

谷歌助理在2019年数字助理智商测试中名列前茅 但每个人工智能都会增加

导读 继去年对个人人工智能解决方案进行了令人印象深刻的比较之后,Loup Ventures今天发布了其2019年数字助理智商测试的结果,如果您喜欢

继去年对个人人工智能解决方案进行了令人印象深刻的比较之后,Loup Ventures今天发布了其2019年数字助理智商测试的结果,如果您喜欢为手机,平板电脑或扬声器提供语音命令,那将是个好消息:所有领先的数字助手们的工作越来越好。

在每个人工智能系统中使用由相同的800个问题组成的测试,Google智能助理再一次领导了这个问题,理解了它所提出的问题的全部100%,就像去年一样,正确地回答了92.9%的问题。这比去年的85.5%有所提高,并迅速接近准确度,而错误并不常见。

相比之下,苹果公司的Siri在两个类别中都有所上升,从去年的理解水平99%上升到今年的99.8%,2018年的正确答案水平达到了78.5%,达到了2019年的正确水平83.1%。另一种观察方式 - 即使它可能与现实世界的Siri用户体验相冲突 - Siri几乎就像去年的Google智能助理一样正确回应。

亚马逊的Alexa再次获得第三名,但今年取得了重大进展,理解了99.9%的问题并在79.8%的时间内正确回答,比去年的Siri表现更好。Alexa的正确答案急剧上升,从去年的61.4%的惊人低点跃升,而Loup指出,这是自开始录制结果以来的最大跳跃。

值得注意的是,今年Loup遗漏了微软的Cortana,这并不奇怪,因为第四名AI已经从微软的产品和第三方配件中消失。Cortana只能正确回答去年问题的52.4%,也就是说你可以在掷硬币或猜测你的问题是否可以以二进制的方式回答。

Loup测试的一个有趣的方面是它涵盖五个不同的类别:“本地”,“商业”,“导航”,“信息”和“命令”,每个类别旨在测试潜在的AI援助的不同领域。因此,最佳分数是全面的助手,而不仅仅是精通单一区域的助手,因此当Alexa非常专注于亚马逊商业但未拨入本地信息或导航时,它会受到影响。

Google智能助理占据了这五个类别中的四个,在商业领域开辟了一个特别大的差距,其92%的准确率超过了Alexa(71%)和Siri(68%)。除了“命令”之外,它实际上取得了最高分,其中Siri以93%到86%的差距击败了它 - 唯一一次助理在正确回答中降到92%以下。

Alexa在“本地”,“导航”和“指挥”部门中排在竞争对手之后,而在“商业”方面仅略微上升了Siri.Siri否则在第二名获得两次,在第三名获得两次,第二大差距在“信息”中,它明显比其他AI更糟糕:76%的正确答案与Alexa的93%和Google的96%相比。

正如Loup之前提到的那样,继续向100%的分数迈进是令人印象深刻的,但不应该被认为是助手实际上是“聪明的”。虽然他们能够理解“在合理范围内,你对他们所说的一切”,但他们只是在他们的主要用例中得到了很好的回应,而且没有表现出更高级别的推理技巧。Loup表示,数字助理的下一步工作是添加“语音特别适合解决”的其他用例,并提供简单的用户体验来解决这些问题。