Ustawienia losowania: temperatura i top-p

Dlaczego AI na to samo pytanie za każdym razem odpowiada inaczej?
Dział zatytułowany „Dlaczego AI na to samo pytanie za każdym razem odpowiada inaczej?”Bo każdy kolejny kawałek odpowiedzi jest losowany z listy kandydatów, a temperatura ustala, jak szeroka jest ta loteria. Porównasz trzy odpowiedzi na ten sam prompt i ocenisz, czy wyszły rozstrzelone, czy ciasno do siebie podobne. Domyślnych wartości u dostawców tu nie podaję, bo różnią się między modelami i zmieniają co kilka miesięcy.
Model nie wybiera słowa. Losuje je
Dział zatytułowany „Model nie wybiera słowa. Losuje je”Z tokenów wiesz, że odpowiedź składa się kawałek po kawałku. Przy każdym tokenie model nie ma jednej pewnej kontynuacji. Ma listę kandydatów z szansami.
Przykład (liczby wymyślone dla przykładu): po “Pada deszcz, więc biorę…” model widzi “parasol” z szansą 70%, “kurtkę” 20% i “kalosze” 10%.
Temperatura (temperature) steruje tym, jak bardzo te szanse są wyrównane. Przy niskiej prawie zawsze wygra “parasol”. Przy wysokiej szanse się wyrównują i częściej wypadnie “kurtka” albo “kalosze”. Nisko: wygrywa oczywistość, odpowiedzi się powtarzają. Wysoko: wpadają rzadsze słowa, tekst bywa ciekawszy i mniej trzyma się faktu.
Temperatura nie ma nic wspólnego z “mądrością”: niska nie sprawdza źródeł, a wysoka nie “rozumie lepiej”. Zmienia tylko to, jak szeroko sięga losowanie.
W czacie tego suwaka często nie ma. Zostaje ten sam mechanizm: regenerujesz i dostajesz inną ścieżkę, albo zwężasz poleceniem.
W dokumentacji dla programistów te pokrętła nazywa się parametrami. W innych lekcjach parametry to wagi: liczby w modelu ustawione w treningu. Tu mówimy o ustawieniach losowania.
Drugie pokrętło: top-p. Zostaw je
Dział zatytułowany „Drugie pokrętło: top-p. Zostaw je”Top-p (z angielskiego nucleus sampling - losowanie z “jądra” najbardziej prawdopodobnych słów) obcina ogon. Model ustawia kandydatów od najbardziej prawdopodobnego i bierze tylu, aż ich szanse dadzą razem próg. Na przykładzie z parasolem: przy progu 0,9 “parasol” (70%) i “kurtka” (20%) dają razem 90%, więc zostają. “Kalosze” wypadają z loterii.
Temperatura i top-p kręcą tą samą losowością od dwóch stron. Jeśli ruszasz oba, nie wiesz, które coś zmieniło. Na tej lekcji: temperatura albo instrukcja zwężająca. Top-p zostaw na domyślnym.
Są też inne ustawienia: limit długości odpowiedzi (liczony w tokenach), kara za powtarzanie tych samych słów i “słowa stopu”, na których model ma przerwać pisanie. W zwykłym czacie ich nie ustawisz, więc tu ich nie ćwiczymy. Instrukcja roli (“jesteś asystentem…”) to nie parametr losowania - to prompt. Wraca w prompt engineeringu.
Tabeli “dla kodu 0,2, dla wiersza 0,9” ani domyślnych wartości z paneli dostawców tu nie znajdziesz, z powodu opisanego na początku strony. Zostaje mechanizm i ćwiczenie na Twoim czacie.
Ćwiczenie: 5 minut, trzy losowania
Dział zatytułowany „Ćwiczenie: 5 minut, trzy losowania”Nie szukasz “idealnej temperatury”. Patrzysz, czy odpowiedź skacze, gdy dasz modelowi luz.
-
Otwórz chatbota z pierwszej rozmowy. Trzy nowe rozmowy (albo trzy razy ten sam prompt przez “regeneruj”, jeśli masz taki przycisk). Za każdym razem wklej:
Wymień trzy nazwy dla małej kawiarni przy parku. Tylko nazwy, bez uzasadnienia. -
Na kartce zapisz trzy pierwsze nazwy z każdej próby. Ile z nich się nie powtarza?
-
Czwarta, nowa rozmowa:
Podaj jedną, najbardziej oczywistą nazwę małej kawiarni przy parku. Bez wariantów i bez ozdobników. -
Porównaj: czy krok 3 zwęził wynik względem rozstrzału z kroku 1?
Jeśli w narzędziu jest suwak kreatywności albo temperatury - możesz zamiast kroku 3 ustawić go nisko i powtórzyć prompt z kroku 1. Wtedy porównujesz szeroko / ciasno na tym samym poleceniu.
Zaliczenie: dwie kolumny na kartce - rozstrzał (ile unikalnych nazw w trzech próbach) i ciasno (czy czwarta odpowiedź jest jedna i przewidywalna). Nie musisz znać liczby z API.
Typowy wynik: w trzech próbach część nazw się powtarza, a część nie. Czwarta odpowiedź jest jedna i często należy do tych, które się powtarzały.
Jeśli nic nie zgrzyta i zostaje czas: ten sam test na fakcie (“w którym roku ogłoszono Konstytucję 3 maja?”). Jeśli przy szerokim poleceniu data skacze - to sygnał, że loteria nie jest weryfikacją. Wracasz do weryfikacji.
Teraz wiesz
Dział zatytułowany „Teraz wiesz”- Kolejny token jest losowany. Temperatura to szerokość tej loterii, nie pokrętło prawdy.
- Top-p to drugie pokrętło na to samo. Kręć jednym.
- W czacie suwaka często nie ma. Zwężasz albo poszerzasz instrukcją i patrzysz na rozstrzał.
Następny krok: Rozumienie danych - co wchodzi do modelu, zanim cokolwiek policzy: skąd są liczby, które mu dajesz, i czego w nich brakuje.
Częste pytania
Co robi temperatura w modelu językowym?
Temperatura steruje tym, jak szeroko model losuje kolejny token. Niska wartość trzyma się najbardziej oczywistych kontynuacji. Wysoka dopuszcza rzadsze, bardziej zaskakujące słowa. To nie jest "inteligencja". To szerokość loterii.
Czy kręcić temperaturą i top-p naraz?
Nie. To dwa pokrętła na tę samą losowość. Temperatura spłaszcza albo wyostrza szanse. Top-p obcina ogon mało prawdopodobnych słów. Rusz jednym. Drugie zostaw.
Nie mam suwaka temperatury w czacie. Co wtedy?
W większości chatbotów suwaka nie ma. Ten sam efekt przybliżasz instrukcją: "jedna oczywista odpowiedź, bez wariantów" zwęża, "trzy różne, zaskakujące" poszerza. W API (dostęp do modelu dla programistów, bez okna czatu) część modeli przyjmuje temperaturę jako liczbę, ale wiele nowszych, np. najnowsze Claude, odrzuca zmianę (dokumentacja Anthropic). W czacie zostaje polecenie.
made with ❤️ by aitomate.pl - Łukasz Podgórski