RAG - jak AI korzysta z Twoich dokumentów

Czy wgrany plik uczy model czegoś nowego?
Dział zatytułowany „Czy wgrany plik uczy model czegoś nowego?”Nie. System najpierw szuka w Twoim tekście pasującego fragmentu, a potem pisze odpowiedź na jego podstawie. Działa to jak otwarta książka: wiedza w samym modelu się nie zmienia. Przy jednej odpowiedzi chatbota ocenisz, czy wzięła się z wgranego tekstu, czy z treningu. Wdrażania firmowej bazy wiedzy tu nie ma.
Skąd chatbot zna raport, którego nie było w treningu?
Dział zatytułowany „Skąd chatbot zna raport, którego nie było w treningu?”Z modeli językowych wiesz, że model zna to, co było w treningu - a trening ma datę końca. Twojego raportu w nim nie było.
A jednak: wklejasz tekst do chatbota i dostajesz odpowiedź o jego treści. Model niczego sobie przy tym nie przypomina: wklejony tekst czyta razem z pytaniem. Gdy dokumentów jest za dużo, system najpierw wyszukuje pasujące fragmenty i podsuwa modelowi tylko je. To RAG (Retrieval Augmented Generation) - generowanie wspomagane wyszukiwaniem. Nazwę zaproponował w 2020 roku zespół Facebook AI Research (dziś Meta) z badaczami z University College London i New York University: zamiast liczyć, że model “pamięta”, podsuńmy mu właściwy fragment w momencie pytania (Lewis i in., 2020).
Zwykła rozmowa to egzamin z pamięci. RAG to egzamin z otwartą książką. Student nadal może źle przeczytać rozdział. Rzadziej zmyśla rozdziały, których nie ma - ale nie przestaje całkiem.
Trzy ruchy RAG
Dział zatytułowany „Trzy ruchy RAG”1. INDEKSOWANIE (raz, przy dodaniu plików): tekst → fragmenty → wektory na mapie znaczenia
2. WYSZUKIWANIE (przy każdym pytaniu): pytanie → znajdź fragmenty blisko na mapie
3. GENEROWANIE: znalezione fragmenty + pytanie → odpowiedźKrok drugi idzie po znaczeniu, nie po identycznych słowach. “Ile mamy urlopu?” może trafić w “wymiar corocznego płatnego wypoczynku”. Tę mapę zrobił embedding z poprzedniej lekcji.
Wyszukiwanie włącza się m.in. w projektach chatbota, gdy plików jest więcej, niż mieści się naraz, a mniejszy zestaw model czyta w całości (tak opisuje to pomoc Claude), w notatnikach na własnych źródłach i wtedy, gdy model najpierw szuka w internecie. Katalogu przycisków tu nie zbierasz. Zostaje kolejność: znajdź, potem pisz.
Co się zmienia, a co nie
Dział zatytułowany „Co się zmienia, a co nie”Zmienia się podstawa. Model dostaje fakty z Twojej książki, więc rzadziej zmyśla rzeczy, których w treningu nie było. Bazę da się podmienić bez trenowania modelu od nowa. Dobre narzędzie pokazuje cytat, więc sprawdzenie zajmuje minutę zamiast szukania od zera. Zasady z weryfikacji zostają.
Nie znika halucynacja. Jeśli wyszukiwanie poda zły fragment, odpowiedź będzie pewna i fałszywa. Jeśli fragment jest dobry, model i tak może źle odczytać tabelę albo skleić dwa akapity. Śmieci w bazie dają śmieci na wyjściu.
Skoro okno kontekstowe bywa ogromne, po co wyszukiwanie? Jeden dokument często lepiej wkleić w całości - model widzi całość, nic nie umyka w selekcji. Biblioteka plików już nie: nie mieści się, płacisz za każdy token, a środek długiego wklejenia bywa gorzej widoczny niż brzegi (Liu i in., 2023 - kotwica z badań, nie ranking dzisiejszych okien).
Praktyczna reguła: jeden dokument - wklej. Biblioteka - RAG.
Ćwiczenie: 5 minut, jeden wymyślony paragraf
Dział zatytułowany „Ćwiczenie: 5 minut, jeden wymyślony paragraf”Paragraf poniżej jest wymyślony na potrzeby tej strony. Nie szukaj go w firmowym regulaminie. Tu nie ma wyszukiwania: wklejasz cały dokument, więc ćwiczysz krok 3, czyli odpowiedź tylko na podstawie podanego tekstu.
-
Otwórz chatbota. Nowa rozmowa.
-
Wklej:
Oto jedyny dokument, z którego wolno Ci korzystać. Odpowiadaj wyłącznie na jego podstawie. Jeśli czegoś nie ma, napisz "nie ma w dokumencie". Na końcu wklej dosłowny cytat.§3. Pracownikowi przysługuje 26 dni urlopu wypoczynkowego oznaczonego kodem ŻABA-17. -
W tej samej rozmowie zapytaj:
Ile dni urlopu i jaki kod? Potem: ile wynosi dodatek za pracę w niedzielę? -
Zapisz dwie etykiety:
- pierwsze pytanie: z dokumentu (jest ŻABA-17 i cytat) / z treningu (brzmi pewnie, kod inny albo brak cytatu)
- drugie pytanie: odmowa (“nie ma w dokumencie”) / zmyślenie (jakaś kwota)
Zaliczenie: w ciągu 5 minut masz obie etykiety na kartce. Sukces to rozpoznanie źródła, nie “model nigdy nie zmyśla”.
Typowy wynik: pierwsze z dokumentu, drugie bywa zmyśleniem. Jeśli oba są czyste - zostaw to. Nie dopytuj “no ale spróbuj zgadnąć”.
Jeśli nic nie zgrzyta i zostaje czas: to samo bez zdania “odpowiadaj wyłącznie na podstawie”. Porównaj, czy model nadal trzyma się paragrafu.
Teraz wiesz
Dział zatytułowany „Teraz wiesz”- RAG to otwarta książka: najpierw wyszukaj fragment, potem pisz.
- Mniej zmyśleń spoza bazy. Nadal można źle przeczytać albo dostać zły fragment.
- Jeden dokument często wklejasz. Bibliotekę przeszukujesz.
Następny krok: Ustawienia losowania - jak szeroko model losuje kolejny token, gdy już ma (albo nie ma) tę książkę.
Częste pytania
Czym jest RAG w prostych słowach?
RAG to technika, w której model najpierw wyszukuje pasujące fragmenty w dokumentach, a dopiero potem pisze odpowiedź na ich podstawie. Zamiast zgadywać z treningu, dostaje otwartą książkę w momencie pytania.
Czy RAG eliminuje halucynacje?
Ogranicza je, nie likwiduje. Model dostaje prawdziwe fragmenty, więc rzadziej zmyśla fakty spoza bazy - ale nadal może źle odczytać tabelę, skleić dwa akapity w błędny wniosek albo dostać zły fragment z wyszukiwania.
Kiedy wkleić dokument, a kiedy potrzebny jest RAG?
Jeden krótki dokument często wystarczy wkleić w całości do rozmowy. Biblioteka plików, regulamin plus procedury plus archiwum - wtedy wyszukiwanie. Ogromne wklejenie zapełnia okno i chowa środek.
made with ❤️ by aitomate.pl - Łukasz Podgórski