Az „Ön szakértő” felszólítások ronthatják a tények pontosságát

A „szakértő vagy” személyi felszólítás éppolyan árthat a teljesítménynek, amennyire segít. Egy új tanulmány azt mutatja, hogy a személyi felszólítás javítja az emberi elvárásokhoz való igazodást, de csökkentheti a tények pontosságát a tudásigényes feladatoknál, a hatások pedig feladattípusonként és modellenként változnak. A lényeg az, hogy a személyre szóló felszólítás bizonyos típusú feladatoknál jobban működik, mint másoknál.

Persona Prompting

A személyazonosítás gyakori módja annak, hogy a nagy nyelvi modellek hogyan reagáljanak, különösen azokban az alkalmazásokban, ahol a hangszín és az emberi elvárásokhoz való igazodás számít. Széles körben használják, mert javítja a kimenetek olvasását és érzését. Tekintettel arra, hogy milyen széles körben elterjedt a személyazonosság, meglepő lehet, hogy a teljesítményre gyakorolt ​​tényleges hatása továbbra is tisztázatlan, mivel a korábbi kutatások ellentmondásos eredményeket mutattak, ami kétségbe vonja a technikát, hogy segít-e vagy árt-e.

A kutatók arra a következtetésre jutottak, hogy a személyre szóló felszólítás nem általánosan előnyös és nem káros, és hogy hatékonysága a feladat típusától függ.

Találták:

• Javítja az igazítással kapcsolatos kimeneteket, például a hangszínt, a formázást és a biztonsági viselkedést
• A Persona felszólítás rontja az olyan feladatok teljesítményét, amelyek a tények pontosságán és érvelésen alapulnak

Ennek alapján a szerzők bevezetik a PRISM (Persona Routing via Intent-based Self-Modeling) elnevezésű módszert, amely szelektíven alkalmazza a perszonákat, az intent-alapú útválasztást alkalmazva a personák alapbeállításként való kezelése helyett. Eredményeik azt mutatják, hogy a személyi felszólítás feltételes eszközként működik a legjobban, és jobb megértést ad arról, hogy a személyi felszólítás mikor segít, és mikor kell kerülni.

Viselkedési jelek kezelése

A tanulmány harmadik részében a kutatók azt mondják, hogy a szakértő személyiségek „hasznos viselkedési jelekkel rendelkeznek”, de a személy naiv használata károkat okoz, amennyire segít. Szerintük ez felveti a kérdést, hogy ezek az előnyök elválaszthatók-e a károktól, és csak ott alkalmazhatók-e, ahol javítják az eredményeket.

A viselkedési jelek befolyásolják az LLM kimenetet. Ezek a jelek az oka annak, hogy a személyazonosítás működik. Javítják a hangszínt, a szerkezetet, a biztonsági viselkedést és azt, hogy a válaszok mennyire felelnek meg az elvárásoknak. Nélkülük semmi haszna nem lenne a személyre késztetésnek.

Mégis, egy látszólagos paradoxonban a tanulmány megmutatja, hogy ugyanezek a jelek zavarják a tények pontosságától és érvelésétől függő feladatokat. Ezért a lap kezelendő dologként kezeli őket, nem pedig maximalizálni.

Ezek a jelek a következők:

• Stilisztikai adaptáció és hangszínillesztés: Professzionális vagy kreatív hang felvétele.
• Strukturált formázás: Lépésről lépésre vagy technikai elrendezések biztosítása.
• Formátumhoz való ragaszkodás: Segítségével a modell követheti az összetett struktúrákat, például a professzionális e-maileket vagy a STEM-magyarázatokat lépésről lépésre.
• Következő szándék: A modell fókuszálása a felhasználó mögöttes céljára, különösen az olyan feladatoknál, mint az adatkinyerés.
• Biztonsági visszautasítás: A káros kérések hatékonyabb azonosítása és elutasítása a „Biztonsági figyelő” szerepkör elfogadásával.

A Persona Prompt nyer

A lap megállapította, hogy a személyre szóló felszólítások nyolc feladatkategóriából ötben nyertek:

1. Kivonás: +0,65 pontszám növekedés.
2. STEM: +0,60 pontszám növekedés.
3. Indoklás: +0,40 pontnövekedés.
4. Írás: Jobb stilisztikai adaptációval javítva.
5. Domainszakértő szerepjátéka: Továbbfejlesztve a jobb hangszínillesztés révén.

A fenti kategóriákban a személyre szóló felszólítás győzött, mert sokkal inkább a stílusról és a világosságról szólnak, nem pedig arról, hogy a válasz helyes-e a tényekre és a tudásra. Azt is megállapították, hogy minél hosszabb és részletesebb a személyi felszólítás, annál erősebb lesz az összehangolás és a biztonsági viselkedés.

Persona Prompt hibák

Ezzel szemben a szakértő személy következetesen rontotta a teljesítményt a fennmaradó három (nyolc közül) kategóriában, mert ezek a pontos tények visszakeresésére vagy a szigorú logikára támaszkodnak, nem pedig stílusra és egyértelműségre. A teljesítménycsökkenés oka, hogy egy részletes szakértő személy hozzáadása lényegében „eltereli” a modell figyelmét azáltal, hogy aktivál egy „utasításkövető módot”, amely előnyben részesíti a hangszínt és a stílust.

A szakértő személyek aktiválása a „tényszerű felidézés” rovására megy. A modell annyira arra koncentrál, hogy szakértőként próbáljon viselkedni, hogy elfelejti a kezdeti képzés során tanult információkat. Ez megmagyarázza a tények és a matematika pontosságának csökkenését.

A Persona szakértői felszólítások a következő három kategóriában teljesítettek rosszabbul:

1. Math
2. Kódolás
3. Bölcsészet (memorizált tényszerű tudás)

A lap megjegyzi, hogy az egyik tudás-benchmarkon (MMLU) a pontosság 71,6%-ról 68,0%-ra esett még a „minimális” személynél is, és tovább esett 66,3%-ra a „hosszú” személynél.

Elmagyarázták a biztonsági fejlesztéseket:

"A részletesebb személyleírások gazdagabb igazodási információkat biztosítanak, arányosan felerősítve az utasítás-hangolási viselkedést."

És megmutatta, miért éri el a tényszerű pontosságot:

„Személyi kártérítési előképzési feladatok
Az előképzés során a nyelvi modellek olyan képességekre tesznek szert, mint a tényszerű tudás memorizálása, osztályozása, entitáskapcsolat-felismerés és nullapontos érvelés. Ezek a képességek az utasítás-hangolás nélkül is elérhetők, és az utasításokat követő extra kontextusok, például szakértői személyi felszólítások károsíthatják őket.

Következtetések elérve

A kutatók arra a következtetésre jutottak, hogy a személyi felszólítás következetesen javítja az igazodástól függő feladatokat, például az írást, a szerepjátékot és a biztonsági viselkedést, miközben rontja a teljesítményt azoknál a feladatoknál, amelyek a képzés előtti tudáson alapulnak, beleértve a matematikát, a kódolást és az általános tudás referenciaértékeit.

Azt is megállapították, hogy a modell személyi érzékenysége a képzéssel arányos. Az utasítások követésére jobban optimalizált modellek „kormányozhatóbbak”, ami azt jelenti, hogy ők kapják a legnagyobb biztonságot és hangszínt, de a tényleges pontosságban is ők szenvedik el a legnagyobb esést.

Elvitelre

1. Legyen szelektív a személyre szóló felszólítások használatában:

• Ne használja alapértelmezetten az „Ön szakértő” üzeneteket
• Kezelje a személyi felszólítást helyzetfüggőként. Mindenhol használata rejtett pontossági kockázatokat rejt magában.

2. A Persona felszólítás a következő esetekben érvényes:

• Írás minősége
• Hang
• Formázás és rendszerezés
• Olvashatóság

3. Olyan feladatok, amelyek nem használnak személyre kérdezést, és helyette semleges felszólítást kell használniuk a pontosság megőrzése érdekében:

• Tényellenőrzés
• Statisztika
• Technikai magyarázatok
• Logikailag erős kimenetek
• Kutatás
• SEO elemzés

4. Emlékezzen erre a három megállapításra:

• Használjon személyre szóló felszólítást a tartalom létrehozásához, majd váltson nem személyes felszólításra (vagy szigorúbb módra) a tények ellenőrzéséhez.
• A rendkívül részletes „szakértői” felszólítások erősítik a hangot és a tisztaságot, de csökkentik a tények és az ismeretek pontosságát.
• Az „Ön egy szakértő” felszólítás arra késztetheti a modellt, hogy előnyben részesítse a helyes hangzást, mint a tényleges helyességet.

5. Párosítsa az utasításokat a feladattal:

• Tartalomkészítés: A Persona segít
• Elemzés és érvényesítés: A Persona fáj

A leghatékonyabb megközelítés nem egy prompt, hanem egy olyan munkafolyamat, amely a feladattól függően váltja a promptokat, hasonlóan a kutató PRISM megközelítéséhez.

Olvassa el a kutatási cikket:
A szakértői personák javítják az LLM-igazítást, de a sérülések pontosságát: Intent-alapú személy-útválasztás a PRISM segítségével