Google: Az alany/objektum entitás sorrendje befolyásolja az AI-válaszokat

A Google közzétett egy új kutatási tanulmányt, amely megállapította, hogy a határmenti LLM-ek a tesztelt tények 95–98%-át kódolják, de nem képesek közvetlenül felidézni a kérdésekre adott válaszok 26–34%-át. A probléma egy része az, hogy a felidézés nehezebbé válik, ha a kérdések megfordítják a tantárgy/objektum entitás sorrendjét, amelyben egy ténnyel találkoztak a képzés során.

Paraméteres információ

A paraméteres információ lényegében az az információ, amelyet az LLM-ek kódoltak a képzés során. Ezek az információk a weboldalakról, dalszövegekből, könyvekből, utasításokból, kódokból és minden másból származnak, amire az LLM-et képezték.

A kutatók a következő kérdésre kerestek választ: Miért nem emlékeznek vissza az LLM-ek bizonyos információkra, amelyekre képezték őket? Korábban úgy gondolták, hogy az LLM-ek talán nem kaptak elegendő információt, de a kutatók azt találták, hogy ez nem mindig igaz a határ menti LLM-ek esetében.

A kutatók kifejtik, hogy a kódolás telített, ami azt jelenti, hogy a kérdések megválaszolásához szükséges információk általában már megtalálhatók az LLM-ekben.

Azt írják:

„A kódolás telített, a visszahívás nem. Az olyan határmenti LLM-eknél, mint a Gemini-3-Pro és a GPT-5, a ténykódolás közel telített, a tények 95-98%-a kódolva van. Ezek a modellek azonban nem emlékeznek vissza közvetlenül a tények 26-34%-ára, vagy 11-12%-ára még gondolkodással sem.

Ennek megfelelően a visszahívási hibák okozzák a GPT-5.2 hibáinak több mint 70%-át, és az erősebb modelleknél nagyobb arányban, ami arra utal, hogy a visszahívás valóban szűk keresztmetszet.

Ez azt jelenti, hogy a szűk keresztmetszet nem az, hogy a határmenti LLM-ek nem rendelkeznek elég tényekkel és információval. A szűk keresztmetszet az információhoz való hozzáférésben rejlik.

Alany és objektum entitások

A kutatás érdekes felfedezése, hogy az LLM-ek egyik oka annak, hogy nem tudtak konkrét tényeket felidézni, az az, hogy a tényhez kapcsolódó alanyi entitást és tárgy entitást meghatározott sorrendben tanulták meg. Amikor egy fordított sorrendet tartalmazó lekérdezést küldenek az LLM-nek, az LLM-nek nehezebben tudja felidézni a tényt, mivel más sorrendben tanulta meg.

A kutatási cikk elmagyarázza, mik az alany és objektum entitások:

"Az alany és az objektum szerepét az a forrásszöveg határozza meg, amelyből a tényt kivonták (pl. Wikipédia-dokumentum): az alany az az entitás, amely először jelenik meg a szövegben, és az objektum ezt követően jelenik meg."

Aztán elmagyarázza, mit jelent az alany és az objektum megfordítása:

„Azt a kérdést, amelynek válasza az objektum, közvetlen kérdésnek nevezzük, míg azt a kérdést, amelynek válasza az alany, fordított kérdésnek nevezzük.”

A Google magyarázója a következő példával illusztrálja az alany/objektum entitáspárt:

„Az Oasis az első fellépését a Boardwalk klubban játszotta.”

A fenti példában az „Oasis” az alanyi entitás, a „The Boardwalk club” pedig az objektum entitás.

Tehát az „Oasis” és a „The Boardwalk club” példájában, amikor ezek a párok következetesen először fordulnak elő az Oasisnál, az LLM képtelen felidézni azt a tényt, amikor a lekérdezés tárgya/tárgya megfordult.

Most egy újabb érdekes felfedezés következik. Az LLM képes felismerni azt a tényt, amikor egy feleletválasztós kérdésben alternatívák között szerepel a fordított alany és tárgy entitás.

A kutatók nem magyarázzák meg, hogy az LLM miért képes felismerni a választ, ha az egy feleletválasztós kérdés része. Bizonyítékként használják fel, hogy a válasz az LLM-ben van kódolva és felismerhető.

A kérdés megfogalmazása jelentéktelen hatással volt a visszahívásra

A kutatók azt tesztelték, hogy a kérdések újrafogalmazása megváltoztatta-e a határ menti LLM-ek azon képességét, hogy felidézzék a tényeket. Azt találták, hogy ez nem befolyásolta jelentősen a modell azon képességét, hogy felidézzen egy tényt. Ami számított, az az alany/objektum sorrendjének megfordítása.

A hosszú farkú tényeket nehéz felidézni

Egy másik érdekes megállapítás, hogy a határ menti LLM-ek nehézségeket tapasztaltak a hosszú farkú tényekkel kapcsolatban, amit a kutatók ritka tényeknek neveztek. A népszerű tények és a ritka tények kódolása között kicsi volt a különbség, de nagyobb volt az emlékezés szempontjából. A ritka tények felidézésének képtelensége gyakran nem annak tudható be, hogy az LLM-ek nem tanulták meg az információkat. Csak a visszahívási szakaszban szűk keresztmetszetek voltak.

Tesztelt megoldás: Több gondolkodás

A kutatók tesztelték a gondolkodást a tények felidézésére, és felfedezték, hogy az LLM-ek képesek voltak felidézni a kódolt tények 40-65%-át, amelyeket korábban nem lehetett közvetlenül felidézni. A továbbgondolás hátránya, hogy számításilag drága. A kutatók azt is megjegyzik, hogy további problémát jelent, hogy tudjuk, mikor kell több gondolkodást kiváltani.

Az LLM képzés méretezése nem megoldás

Végül a kutatók megjegyezték, hogy a határterületi LLM-ek méretezése nem jelent megoldást a visszahívási problémára.

SEO és tárgy/objektum entitás párok

Az alany és objektum entitás párok sorrendjével kapcsolatos megérzés az, hogy előnyös lehet azokat a legáltalánosabb módon rendezni, ahogy a lekérdezések rendezik őket. Ez nem derül ki a kutatási cikkből. Nem is olyan dolog, ami bizonyított. Intuitív módon azonban ésszerű lehet az alanyi entitásokat és az objektum entitásokat a leggyakoribb sorrendpárosításuk szerint rendezni.

Bár a kutatási cikk nem mondta ki, hogy ezeknek az entitásoknak a közös rendezése segít egy LLM-nek egy adott weboldal kiválasztásában, ez egy ésszerű hipotézis a SEO szempontjából.