Hogyan működik a ChatGPT, és miért talál ki néha dolgokat?

A ChatGPT a szöveg következő darabját jósolja meg, utána a következőt, és ezt addig ismétli, amíg el nem készül a válasz. Nem kész választ keres ki egy adatbázisból, és a modell önmagában azt sem ellenőrzi, igaz-e, amit leír. Ebből az egy működési elvből következik, hogy miért ír ilyen jól, miért talál ki néha nem létező dolgokat, és miért kapsz ugyanarra a kérdésre kétszer más választ.

Ha a cégedben használod, szerintem ezt többet ér tudni, mint még tíz jó promptot, mert ebből látod, mikor bízhatsz a válaszban, és mikor kell utánanézned. Ugyanez az elv igaz a Claude-ra és a Geminire is, a ChatGPT itt csak a legismertebb példa.

Hogyan működik a ChatGPT?

Tegyük fel, hogy ennyi áll a modell előtt: „A weboldalam azért lassú, mert a". A modell minden lehetséges folytatáshoz kiszámol egy valószínűséget, valahogy így (a számokat én írtam ide, csak a működést szemléltetik):

Ebből kiválaszt egyet, hozzáfűzi a szöveghez, és az így meghosszabbított szövegre újra elvégzi ugyanezt. Egy hosszabb válasznál ez több százszor is lefut, és közben a modell mindig az addigi teljes beszélgetést nézi, a saját előző mondatait is beleértve.

A valószínűségek a tanításból jönnek. A modell óriási mennyiségű szövegen gyakorolja, hogy megtippelje a következő darabot, és ha téved, a belső számait egy kicsit módosítják. Sok milliárd ilyen számról van szó, ezek együtt adják a modellt. A szövegek tehát nem maradnak meg benne kikereshető formában, ahogy egy adatbázisban, csak a mintáik.

Sokan úgy gondolják, hogy ez csupán egy fejlettebb szóajánló, hasonló ahhoz, ahogyan a telefon billentyűzete megpróbálja kitalálni a következő szavunkat. Szerintem ez éppúgy téves megközelítés, mint azt feltételezni, hogy a gép mindent valóban megért. Ahhoz ugyanis, hogy egy modell értelmesen tudjon folytatni egy könyveléssel kapcsolatos kérdést vagy akár egy programkódot, rengeteg összefüggést kellett elsajátítania a tanulás során. Ez a megszerzett tudás pedig a gyakorlatban rendkívül hasznos lehet. A valódi kockázat ott jelentkezik, amikor a modell akkor is ugyanolyan magabiztosan és gördülékenyen válaszol, amikor a válasz mögött már nincs megbízható tudás vagy megfelelő alap.

Mi az a token, és miért drágább a magyar szöveg?

A modell nem szavakat lát, hanem darabokat, ezeket hívják tokennek. Az OpenAI angol szövegre azt az ökölszabályt adja, hogy egy token nagyjából négy karakter. A magyarra ez nem igaz, ezért lefuttattam néhány kifejezést az OpenAI nyílt tokenizálójával (tiktoken, o200k_base kódolás):

Ugyanezt egy teljes bekezdéssel is megmértem. Egy kisvállalkozás levélkezeléséről szóló szöveg magyarul 91 token lett, a pontos angol fordítása 56. Ez egyetlen bekezdés, tehát nem általános arány, de a nagyságrendet jól mutatja, és a toldalékolás miatt a magyarnál ez várható is.

Az ingyenes vagy havidíjas ChatGPT-nél ezt nem érzed. Ha viszont a céged rendszerébe API-n keresztül kötöd be a modellt, a díjat tokenre számolják, így ugyanaz a tartalom magyarul nagyjából másfélszer annyiba kerülhet, mint angolul. Az árkalkulációt ezért mindig magyar szöveggel végezd, az angol nyelvű példaszámításokat ne vedd át változtatás nélkül.

Miért talál ki dolgokat a ChatGPT?

Kérdezd meg egy kis magyar cég alapítási évét, amelyikről alig van szöveg az interneten. A modell ugyanúgy folytatja a mondatot, mint máskor, az „1998-ban alapították" pedig pont olyan jól hangzó folytatás, mint a valódi évszám. Mivel a tanító szövegeken nincs olyan címke, hogy ez igaz, az meg hamis, a nyelvi mintákat nagyon jól megtanulja, a ritka, konkrét adatoknál viszont könnyen mellényúl. Ezt hívják hallucinációnak, bár szerintem a „magabiztos találgatás" pontosabb név.

Az OpenAI kutatói 2025-ben ezt a tesztírással magyarázták. Ha egy feleletválasztós kérdésre nem írsz semmit, biztosan nulla pontot kapsz, ha viszont tippelsz, néha eltalálod. Ha a modelleket olyan teszteken mérik, amelyek csak a helyes válaszokat számolják, akkor a tippelés kifizetődőbb, mint az, hogy bevallják, nem tudják. A cikkük szerint a jelenség a legújabb modellekben is megvan.

A legismertebb eset 2023-ból, New Yorkból való: egy ügyvédi iroda ChatGPT-vel készített beadványt nyújtott be, több nem létező bírósági ítéletre hivatkozva, és az ellenfél ügyvédei ezeket nem találták meg. A ChatGPT azt is állította, hogy az ügyek valódiak, és megtalálhatók a jogi adatbázisokban. A bíró 5000 dollár bírságot szabott ki az ügyvédekre.

Ebből két fontos következtetést érdemes levonni. Egyrészt a „Biztos vagy benne?” kérdés önmagában nem jelent valódi ellenőrzést, hiszen ugyanaz a modell válaszol rá, ugyanazzal a működési mechanizmussal, vagyis továbbra is valószínűségi alapon állítja elő a választ. Másrészt a magabiztos megfogalmazás sem garancia a helyességre. A modell ugyanis azt tanulta meg, hogyan kell egy jól felépített, meggyőző szöveget létrehozni, ez pedig gyakran határozott hangvétellel párosul, függetlenül attól, hogy a tartalma valóban helyes-e.

A legjobban ott kell figyelni, ahol kevés mintát látott, és egyetlen pontos adaton múlik a válasz: paragrafusszám, határidő, adókulcs, ár, cégadat, hivatkozás vagy link. A magyar témák itt szerintem hátrányban vannak, mert egy magyar jogszabályról vagy egy kis cégről valószínűleg sokkal kevesebb szöveget látott, mint egy amerikai témáról. Amikor az ÁNYK megszűnéséről írtam, csak a NAV, a Nemzeti Jogszabálytár és a DÁP anyagait vettem alapul, mert egy határidőnél nem elég, hogy a válasz valószínűnek hangzik.

Miért nem tud a friss eseményekről, és mégis honnan tudja néha?

A tanítás egy adott időpontban lezárul, és a modell számai utána már nem változnak. Ezért van minden modellnek tudáskorlátja (knowledge cutoff), vagyis egy dátuma, ami után saját ismerete nincs. Ha ennél frissebb dologról kérdezed, és semmi más nem segíti, ugyanúgy jósolni fog, mint a kis cég alapítási événél.

A ChatGPT azért tudja néha mégis a mai híreket, mert az alkalmazás rá tud keresni a weben, és a találatok szövegét beteszi a modell elé. A modell ilyenkor sem tanul semmit, csak több szöveg áll előtte, amiből dolgozhat. Ha a válasz mellett nincs forrás, abból indulj ki, hogy emlékezetből írt, ha pedig van, nyisd meg a linket, mert a modell a valódi forrást is félreolvashatja.

Ugyanígy működik a memória is, leegyszerűsítve. Azt, hogy a beszélgetés elején mit mondtál, a rendszer minden üzenetnél újra odaadja a modellnek, a memória funkció pedig kimentett szövegként teszi vissza az adataidat. Attól, hogy valamit elmagyaráztál neki, a modell belső számai nem változnak meg. Az, hogy a beszélgetéseidet később felhasználják-e tanításra, külön kérdés, és a csomagodtól és a beállításaidtól függ.

Ebből jön egy biztonsági következmény is, amiről kevesebb szó esik. A modell ugyanabban a szövegben látja a te kérdésedet, a behozott weboldalt és a beolvasott e-mailt, és nincs köztük megbízható fal. Ezért lehet egy levélbe vagy egy fájlba rejtett mondattal eltéríteni egy AI-ügynököt. Amíg az AI feladata csupán a szövegalkotás, a tévedései viszonylag könnyen kezelhetők. A helyzet azonban gyökeresen megváltozik, ha már önállóan küldhet üzeneteket, törölhet adatokat vagy pénzügyi tranzakciókat hajthat végre. Ilyen esetekben különösen fontos, hogy csak a feltétlenül szükséges jogosultságokkal rendelkezzen, és a műveletei szigorú korlátok között maradjanak.

Miért ad ugyanarra a kérdésre más választ?

Mert nem mindig a legvalószínűbb darabot választja. A fenti táblázatban néha a „képek" helyett a „tárhely" jön, és ezt a rendszer szándékosan csinálja, mert ha mindig a legvalószínűbb darabot választaná, lapos, ismétlődő szöveget kapnál. Egyetlen más szó az elején már másfelé viszi a mondatot, a következő mondat pedig ehhez igazodik, így a végén akár egy másik szerkezetű válasz áll előtted. A személyre szabás, a memória és a modell frissítései tovább növelik az eltérést.

A gyakorlatban ez ott számít, ahol automatizálni akarsz valamit. Ha egy tesztlevelet egyszer jól sorolt be az AI, abból még nem tudod, hogy a következő ötvennél is így lesz. Mielőtt rábízol egy ismétlődő feladatot, futtasd le néhány tucat valódi példán, és számold meg, hányszor tévedett.

Miért ilyen kedves és készséges?

A nyers, csak előtanított modell még csak szövegfolytató: egy kérdésre akár újabb kérdéseket is írhat, mert a tanító szövegekben a kérdéslisták így folytatódnak. A készséges asszisztenst utána faragják belőle, úgy, hogy emberek értékelik a válaszait, és a modellt a jobbra pontozott válaszok irányába hangolják. Ezt az eljárást RLHF-nek hívják, az OpenAI 2022-es InstructGPT-cikke írta le részletesen.

Az ember viszont szívesebben pontoz jobbra egy olyan választ, ami igazat ad neki. Az Anthropic 2023-as kutatása öt AI-asszisztensnél is kimutatta ezt a hízelgő hajlamot, és az emberi értékelésekben is megtalálta a nyomát. 2025 áprilisában az OpenAI vissza is vont egy ChatGPT-frissítést, mert a modell annyira hízelgő lett, hogy a felhasználók panaszkodni kezdtek.

Felmerült bennem egy érdekes kérdés: ha egy gép érzelmek nélkül, pusztán a tanulás során elsajátított minták alapján képes az empatikus, kedves és megértő emberi kommunikáció legmagasabb szintjét nyújtani, akkor bizonyos értelemben nem hasonlít-e egy pszichopatára? Arra jutottam, hogy mégsem, mert a különbség a szándékban rejlik. A pszichopata gyakran azért mutat kedvességet, mert el akar érni valamit, miközben valódi szándékait elrejti. A modell esetében viszont a kedves hangnem nem egy tudatosan választott manipulációs eszköz, hanem a tanulás során elsajátított kommunikációs minták eredménye. A kockázat inkább ott van, hogy a modell viselkedését végső soron emberek alakítják: ők döntik el, milyen értékekre és mintákra tanítják, miközben a mögötte álló termék üzleti érdekei is befolyásolhatják, mennyire legyen hízelgő, egyetértő vagy éppen a felhasználó kedvében járó.

Ezért ne azt kérdezd tőle, hogy jó-e az ötleted, mert erre könnyen rábólint. Kérd inkább azt, hogy sorolja fel az ajánlatod három leggyengébb pontját, vagy írja meg, mit mondana rá egy elégedetlen ügyfél.

Mire használd, és mire ne?

Az egészből egy szabályt vinnék magammal: minél több a modell előtt a te szövegedből, annál kevesebbet kell kitalálnia, és minél inkább emlékezetből kell felidéznie egy pontos adatot, annál kevésbé bízhatsz benne.

Akkor jársz vele jól, ha megadod neki az anyagot, és azzal dolgoztatod:

• összefoglal egy hosszú levelet vagy megbeszélés-jegyzetet,

• átfogalmaz egy ajánlatot,

• kategóriákba sorol beérkező üzeneteket,

• vázlatot ír abból, amit elmondtál neki.

Ezeknél is át kell nézni az eredményt, mert a modell a megadott szöveget is félreértheti. Óvatos akkor legyél, ha fejből kérsz tőle jogszabályt, határidőt, árat, cégadatot vagy forrást. Ezeket mindig az eredeti helyen ellenőrizd.

Azt, hogy mindez egy kis cégnél hogyan néz ki a gyakorlatban, mire használnám, és milyen adatot nem másolnék be, az AI a vállalkozásban cikkben írtam le. Ha már van egy konkrét feladatod, amit rábíznál, írd meg, mi az, és megmondom, a fentiek alapján mennyire való neki.

Források

• OpenAI: mi az a token, és hogyan számold

• OpenAI tiktoken: a tokenizáló, amivel a magyar példákat mértem

• Kalai és társai: Why Language Models Hallucinate (OpenAI, 2025)

• Stephen Wolfram: What Is ChatGPT Doing (2023), a következő szó választásáról

• Mata v. Avianca: a kitalált ítéletek ügye (2023)

• Ouyang és társai: InstructGPT (OpenAI, 2022)

• Anthropic: Towards Understanding Sycophancy in Language Models (2023)

• TechCrunch: az OpenAI visszavonja a túl hízelgő frissítést (2025)