Mondhatni történelmi mérföldkő: két nagy nyelvi modell is átment a Turing-teszten, ami azt vizsgálja, hogy egy gép képes-e ugyanazt az intelligenciaszintet mutatni, mint egy ember.

A Stanford Egyetem kutatói négy mesterséges intelligencia rendszert teszteltek, és azt találták, hogy az újabb nyelvi modellek „hatékonyan utánozhatják az embereket rövid interakciók során” – áll a PNAS folyóiratban megjelent tanulmányban. „Megfelelő kérdések esetén a magasabb szinten álló Large Language modellek, tehát LLM-ek ugyanolyan hangnemet, közvetlenséget, humort és tévedhetetlenséget mutathatnak, mint az emberek” – mondta el Cameron Jones, a tanulmány szerzője. 

A kutatás során négy MI-modellt teszteltek: a GPT-4.5-t és a Llama-3.1-405B-t, amik a legmodernebb modellek voltak, valamint a régebbi alapmodelleket is kirpbóáltak, a GPT-4o-t és az ELIZA-t, ami egy egyszerű chatbot az 1960-as évekből. A modellek közül „a GPT-4.5-öt az esetek 73%-ában embernek ítélték, ami azt jelenti, hogy a kérdezők szignifikánsan gyakrabban illették ’emberi’ jelzővel, mint a valódi embert”. A Llama-3.1-405B-t, „ugyanazon kérdés esetén az esetek 56%-ában ítélték meg embernek”, így „statisztikailag megkülönböztethetetlen azoktól az emberektől, amelyekkel összehasonlították”. A régebbinek mondható nyelvi modellek szignifikánsan rosszabbul teljesítettek, az ELIZA-t csak az esetek 23%-ában, a GPT-4o-t pedig az esetek 21%-ában tévesztették össze emberrel.

Érdemes azonban hozzátenni, hogy bár a botok átmentek a Turing-teszten, ehhez speciális utasításokra, tehát promptokra is szükségük volt. A teszt során mindegyik rendszer „utasítást kapott egy persona, azaz egy adott karakter és kommunikációs stílus felvételére”. Amikor viszont a modelleket nem promptolták megfelelően, sokkal kisebb valószínűséggel nézték őket embernek: a GPT-4.5 36%-ra, a Llama-3.1-405Bé pedig 38%-ra esett vissza.

Eszerint a modellek képesek emberszerűnek tűnni – mondta el Ben Bergen, a tanulmány társszerzője a közleményben –, „de talán nem annyira képesek kitalálni, hogy mit kellene tenni ahhoz, hogy emberszerűnek tűnjenek.”

via TheWeek

Borítókép: Igor Olimaev/Unsplash.com