AI Modeli

Kako razmišlja AI in zakaj pozabi, kaj si mu rekel pred tremi stavki

AI deluje le, dokler se spomni, kaj si mu rekel. V tem vodiču razložimo, kaj so tokeni, kako deluje context window in kateri model izbrati za kaj.

Miha Mohorko

07 maj. 2025 — 3 min read

(ali: kako ti “context window” in “tokeni” lahko rešijo živce, projekt in ego)

Dobro, dajmo eno stvar razčistit: AI ni čarovnik, ni pametnejši od tebe (še), in ni vsemogočen. Ja, zna pisat tekste, povzemat PDF-je in ti mogoče celo napiše romantično sporočilo tvoji bivši (ne priporočamo), ampak… vse to zmore samo, če se spomni, kaj si mu sploh naročil.

In tukaj vstopita dva pojma, ki zvenita kot poglavja iz učbenika za inženirje, v resnici pa sta ključ do tega, da AI ne izpade kot dementni stric na obisku: context window in tokeni.

Tokeni – digitalni koščki jezika

AI ne bere kot mi. Njemu besede niso besede, ampak mali digitalni LEGO kocki, ki jim rečejo “tokeni”. Vsaka beseda je razbita na te enote. “Marketing” je en token. “Strategija” je morda dva. Tudi ločila in emoji so tokeni. Če napišeš “💩” – to šteje.

AI modeli ne štejejo znakov (character/črk), ampak tokene. In imajo omejeno število teh tokenov, ki jih lahko zložijo v glavi naenkrat. In to je context window – okno konteksta oz. koliko vsega lahko upoštevajo in razumejo na enkrat med tem, ko se pogovarjaš z njim in mu daješ naloge. Nekateri so prave ninje, drugi pa kot pes na kokakoli.

Context window – pozornostni domet AI-ja

Predstavljaj si AI kot sodelavca. Enega takega, ki mu razlagaš projekt in ga po petih minutah vprašaš: “Ok, a ti je jasno?” On pa te pogleda in reče: “Čakaj, kaj si rekel na začetku?”

Točno to se zgodi, ko imaš model z majhnim context windowom. Recimo GPT-3.5 – 4.000 tokenov. Super za kratke pogovore. Ampak če mu pošlješ strategijo, pet emailov, en pitch deck in napišeš “naredi mi povzetek”… pozabi. Do tretje strani je že mentalno na malici.

Zdaj pa primerjaj to z Claude 3 Opus, ki zmore 200.000 tokenov. To je kot sodelavec, ki prebere cel arhiv podjetja, ne trzne, in potem reče: “Na osnovi teh 6.124 strani predlagam tole: …”

Ja, obstaja. Ne, ni poceni. Ampak tudi ti nisi, a ne?

Kaj so AI halucinacije?

AI halucinacije so, ko AI samozavestno poda napačne ali izmišljene informacije. To se zgodi, ker AI poskuša napovedati najbolj verjeten naslednji token, tudi če nima dovolj informacij. Recimo, lahko si izmisli vire ali napačno interpretira podatke.

Na primer: vprašaš AI, kdo je predsednik Slovenije, on pa ti samozavestno odvrne: “Zoran Zver, legendarni basist skupine Laibach in trenutni predsednik vesoljske federacije.”

In kar je najbolj strašno? Pove ti to z zanosom, kot da je bil tam, ko je Zoran prisegel na Luni.

Dobrodošel v svetu AI halucinacij – kjer je samozavest visoka, resnica pa… no, na dopustu.

AI avtomatizacija: Uporaba pravih modelov za prave naloge

Pri avtomatizaciji je ključno izbrati pravi model za pravo nalogo:

Manjše naloge: Uporabite modele kot je GPT-3.5 za hitre in enostavne naloge, kot so odgovarjanje na e-pošto ali generiranje kratkih besedil.
Kompleksne naloge: Za analizo dolgih dokumentov ali globoko raziskovanje uporabite modele z večjim kontekstnim oknom, kot sta Claude 3 Opus ali Gemini 1.5 Pro.
Kombinacija modelov: Uporabite cenejše modele za predobdelavo podatkov, nato pa kompleksnejše modele za analizo in generiranje končnih rezultatov.

Razumevanje, kako AI deluje, vam omogoča, da izberete pravi model za svojo nalogo, zmanjšate stroške in povečate učinkovitost. Ne pozabite, AI je orodje – kako ga uporabite, je odvisno od vas.