W corocznym teście porównującym Asystenta Google, Siri i Alexę na smartfonach, Gene Munster z Loup Ventures stwierdził, że Siri była w stanie poprawnie odpowiedzieć na 83 procent pytań pokonując tym samym Alexę, ale była daleko za Asystentem Google.
Munster podczas testu zadał każdemu asystentowi cyfrowemu 800, aby porównać odpowiedzi każdego z nich. Alexa odpowiedziała poprawnie na 79,8 procent pytań, a Asystent Google poprawnie odpowiedział na 92,9 procent pytań.
W porównaniu do ubiegłego roku Siri odnotowała poprawę. Podczas testu z lipca 2018 roku Siri odpowiedziała poprawnie na 79 procent pytań w porównaniu do 83 procent odpowiedzi udzielonych tym razem. Alexa w ubiegłym roku miała 61 procent, podczas gdy Asystent Google miał 86 procent, więc widać wyraźnie, że wprowadzono ulepszenia do wszystkich cyfrowych asystentów głosowych.
Test obejmował w szczególności smartfony, porównując iPhone’y i urządzenia z Androidem. Munster twierdzi, że smartfony zostały odizolowane od inteligentnych głośników, ponieważ chociaż podstawowa technologia jest podobna, „przypadki użycia są różne”. Siri została przetestowana na iPhonie z systemem iOS 12.4, Google Assistant na Pixel XL a Alexa w aplikacji na iOS.
Pytania oparte były na pięciu kategoriach, a wszystkim asystentom zadano te same 800 pytań. Każdy zestaw pytań został zaprojektowany w celu „kompleksowego przetestowania umiejętności i użyteczności cyfrowego asystenta”. Niektóre przykładowe pytania z każdej kategorii:
- Lokalne – gdzie jest najbliższa kawiarnia?
- Handel – Zamów mi więcej ręczników papierowych.
- Nawigacja – jak dojechać autobusem na przedmieścia?
- Informacje – Z kim grają dziś Twins?
- Polecenie – Przypomnij mi, żebym zadzwonił dziś do Jerome’a o godz. 14
Siri radziła sobie najlepiej w kategoriach poleceń, lokalnych i nawigacyjnych, gorzej radząc sobie w kategoriach informacji i handlu. Siri zwyciężyła w kategorii poleceń, ale w innych kategoriach wyprzedził ją Asystent Google.
Munster twierdzi, że ciągłe tempo poprawy „nadal zaskakuje” w oparciu o znaczące ulepszenia, które każdy asystent głosowy wykazał w ciągu ostatnich kilku lat. W przyszłości Loup Ventures spodziewa się dalszych ulepszeń związanych z rozszerzeniem zestawu funkcji każdego asystenta głosowego.
