Przejdź do głównej zawartości

Tokeny i okno kontekstowe w AI

Zdanie rozpadające się na małe tokeny-puzzle przepływające przez okno kontekstowe

Tnie tekst na kawałki i widzi ich tyle, ile mieści się na blacie o stałej pojemności. Na tym blacie musi się zmieścić cała rozmowa. Gdy blat jest pełny, najstarsze fragmenty przestają być widoczne albo zostają streszczone. Sprawdzisz to na jednym zdaniu. Stawek API (dostępu do modelu dla programistów, bez okna czatu) ani tabeli okien konkretnych modeli tu nie znajdziesz, bo te liczby starzeją się w kilka miesięcy.

Chatbot nie widzi Twojego zdania tak, jak Ty. Zanim cokolwiek “przeczyta”, tnie tekst na tokeny. Potem dokłada odpowiedź token po tokenie.

Jedno krótkie, częste słowo bywa jednym tokenem. Dłuższe albo rzadsze - dwoma, trzema, pięcioma. Spacja też bywa częścią kawałka, nie separatorem.

  1. "Sztuczna"Sztuczna2 tokeny
  2. "inteligencja" inteligencja2 tokeny
  3. "analizuje"analizuje2 tokeny
Zwróć uwagę na spację wiodącą w tokenie ' intelig' - dla modelu jest ona częścią tokena, nie separatorem.

Polski zwykle rozpada się na więcej kawałków niż angielski o tej samej treści. W analizie z 2023 roku Petrov i in. pokazali, że tokenizery traktują języki nierówno - ten sam tekst w tłumaczeniu bywa wyraźnie “cięższy”, zanim model w ogóle zacznie odpowiadać (Petrov i in., 2023). To kotwica mechanizmu, nie cennik na dziś. Swój narzut zmierzysz w ćwiczeniu.

Okno kontekstowe (ang. context window) to maksymalna liczba tokenów, które model widzi jednocześnie. Wchodzi w nie prompt, cała dotychczasowa rozmowa i to, co model właśnie pisze.

Okno działa jak blat roboczy, nie jak dysk. Gdy blat jest pełny, aplikacja musi zrobić miejsce: najstarsze fragmenty przestają być widoczne albo zostają zastąpione streszczeniem (tak robi np. Claude w planach płatnych, gdy ma włączone wykonywanie kodu - pomoc Claude). Model nie wraca do pominiętych szczegółów “z pamięci”. W tym przebiegu ich po prostu nie ma.

W broszurze modelu okno bywa ogromne. W oknie czatu często dostajesz mniej, a ile, zależy od planu, nie od nazwy modelu. Jeśli wklejasz gruby plik i odpowiedź gubi początek, najpierw sprawdź limit aplikacji, zanim ogłosisz, że “model jest głupi”.

Duże okno też nie znaczy, że każdy kawałek jest tak samo widoczny. W 2023 roku Liu i in. opisali efekt “lost in the middle”: modele lepiej łapały informacje z początku i z końca kontekstu niż ze środka (Liu i in., 2023). Kolejne generacje to poprawiały. Z tamtego badania biorę tylko praktyczną ostrożność: ważne rzeczy stawiaj na górze albo na dole, nie zakopuj w środku długiego wklejenia.

W API płacisz za tokeny. Wejście (to, co wysyłasz) i wyjście (to, co model pisze) liczą się osobno. Wyjście bywa droższe. Polski, skoro tnie się na więcej kawałków, szybciej zapełnia okno i szybciej nalicza rachunek. Aktualne stawki są u dostawców i w Ile kosztuje AI. Cennika tu nie podaję, bo zestarzałby się szybciej niż ta lekcja.

Jak model wybiera kolejny token i jakie ustawienia losowania na to wpływają, opisuję w Ustawieniach losowania.

Zamiast zgadywać, “ile tokenów ma polski w ogóle”, mierzysz jedną parę zdań.

  1. Otwórz Tokenizer OpenAI (darmowy podgląd; jeśli strona wymaga logowania, zrób wariant B niżej).

  2. Wklej po kolei, każde osobno, i zapisz dwie liczby:

    Proszę o przesunięcie spotkania na wtorek.
    Please move the meeting to Tuesday.
  3. Na kartce: które zajęło więcej tokenów? Jednym zdaniem: dlaczego to nie jest “liczba słów”?

Wariant B (bez tokenizera): z widgetu na tej stronie zapisz trzy pary słowo → liczba kawałków. To też zaliczenie - widzisz, że słowo nie jest jednostką modelu.

Zaliczenie: w ciągu 5 minut masz albo dwie liczby z tokenizera i etykietę “polski więcej / angielski więcej / podobnie”, albo trzy pary z widgetu. Nie musisz wiedzieć, jak dokładnie działa cięcie. Nie musisz otwierać cennika.

Typowy wynik: w tokenizerze OpenAI (kodowanie GPT-4o, pomiar z listopada 2026 r.) polskie zdanie ma 14 tokenów, a angielskie 7, choć oba mają po 6 słów. Jeśli Tobie wyjdzie inaczej, też dobrze - masz własny pomiar zamiast zgadywania.

Jeśli nic nie zgrzyta i zostaje czas: w długiej rozmowie, którą już masz, zapytaj o rzecz z pierwszych wiadomości. Jeśli model zmyśla albo prosi o przypomnienie - to granica okna (początek przestał być widoczny albo został streszczony), nie “zła pamięć”.

  • Model tnie tekst na tokeny. Słowo i token to nie to samo.
  • Okno kontekstowe to blat o skończonej pojemności. Gdy się zapełni, najstarsze fragmenty przestają być widoczne albo zostają streszczone.
  • Polski zwykle waży więcej kawałków niż angielski. Liczby mierzy się, nie cytuje z pamięci.

Następny krok: Embedding - jak tekst zamienia się w punkt na mapie znaczenia, dzięki czemu wyszukiwanie idzie po sensie, nie po literach.

Częste pytania

Czym jest token w modelu językowym?

Token to kawałek tekstu, na który model tnie to, co czyta i pisze. Bywa całym słowem, bywa połową, bywa znakiem. Jednostką modelu nie jest słowo i nie jest litera.

Czym jest okno kontekstowe?

Okno kontekstowe to maksymalna liczba tokenów, które model widzi naraz - Twoje polecenie, historia rozmowy i powstająca odpowiedź. Gdy okno jest pełne, najstarsze fragmenty przestają być widoczne albo zostają streszczone - zależy od aplikacji. Model nie "zapomina". Przestaje widzieć całość.

Dlaczego ta sama treść po polsku bywa droższa niż po angielsku?

Bo liczy się liczba tokenów, nie liczba słów. Polski często rozpada się na więcej kawałków niż równoległy angielski. W API płacisz za kawałki. W czacie ten sam narzut szybciej zapełnia okno.

made with ❤️ by aitomate.pl - Łukasz Podgórski