Przejdź do głównej zawartości

RAG - jak AI korzysta z Twoich dokumentów

Kulista postać AI wyjmuje dokumenty z szafki na akta - RAG

Nie. System najpierw szuka w Twoim tekście pasującego fragmentu, a potem pisze odpowiedź na jego podstawie. Działa to jak otwarta książka: wiedza w samym modelu się nie zmienia. Przy jednej odpowiedzi chatbota ocenisz, czy wzięła się z wgranego tekstu, czy z treningu. Wdrażania firmowej bazy wiedzy tu nie ma.

Skąd chatbot zna raport, którego nie było w treningu?

Dział zatytułowany „Skąd chatbot zna raport, którego nie było w treningu?”

Z modeli językowych wiesz, że model zna to, co było w treningu - a trening ma datę końca. Twojego raportu w nim nie było.

A jednak: wklejasz tekst do chatbota i dostajesz odpowiedź o jego treści. Model niczego sobie przy tym nie przypomina: wklejony tekst czyta razem z pytaniem. Gdy dokumentów jest za dużo, system najpierw wyszukuje pasujące fragmenty i podsuwa modelowi tylko je. To RAG (Retrieval Augmented Generation) - generowanie wspomagane wyszukiwaniem. Nazwę zaproponował w 2020 roku zespół Facebook AI Research (dziś Meta) z badaczami z University College London i New York University: zamiast liczyć, że model “pamięta”, podsuńmy mu właściwy fragment w momencie pytania (Lewis i in., 2020).

Zwykła rozmowa to egzamin z pamięci. RAG to egzamin z otwartą książką. Student nadal może źle przeczytać rozdział. Rzadziej zmyśla rozdziały, których nie ma - ale nie przestaje całkiem.

1. INDEKSOWANIE (raz, przy dodaniu plików):
tekst → fragmenty → wektory na mapie znaczenia
2. WYSZUKIWANIE (przy każdym pytaniu):
pytanie → znajdź fragmenty blisko na mapie
3. GENEROWANIE:
znalezione fragmenty + pytanie → odpowiedź

Krok drugi idzie po znaczeniu, nie po identycznych słowach. “Ile mamy urlopu?” może trafić w “wymiar corocznego płatnego wypoczynku”. Tę mapę zrobił embedding z poprzedniej lekcji.

Wyszukiwanie włącza się m.in. w projektach chatbota, gdy plików jest więcej, niż mieści się naraz, a mniejszy zestaw model czyta w całości (tak opisuje to pomoc Claude), w notatnikach na własnych źródłach i wtedy, gdy model najpierw szuka w internecie. Katalogu przycisków tu nie zbierasz. Zostaje kolejność: znajdź, potem pisz.

Zmienia się podstawa. Model dostaje fakty z Twojej książki, więc rzadziej zmyśla rzeczy, których w treningu nie było. Bazę da się podmienić bez trenowania modelu od nowa. Dobre narzędzie pokazuje cytat, więc sprawdzenie zajmuje minutę zamiast szukania od zera. Zasady z weryfikacji zostają.

Nie znika halucynacja. Jeśli wyszukiwanie poda zły fragment, odpowiedź będzie pewna i fałszywa. Jeśli fragment jest dobry, model i tak może źle odczytać tabelę albo skleić dwa akapity. Śmieci w bazie dają śmieci na wyjściu.

Skoro okno kontekstowe bywa ogromne, po co wyszukiwanie? Jeden dokument często lepiej wkleić w całości - model widzi całość, nic nie umyka w selekcji. Biblioteka plików już nie: nie mieści się, płacisz za każdy token, a środek długiego wklejenia bywa gorzej widoczny niż brzegi (Liu i in., 2023 - kotwica z badań, nie ranking dzisiejszych okien).

Praktyczna reguła: jeden dokument - wklej. Biblioteka - RAG.

Paragraf poniżej jest wymyślony na potrzeby tej strony. Nie szukaj go w firmowym regulaminie. Tu nie ma wyszukiwania: wklejasz cały dokument, więc ćwiczysz krok 3, czyli odpowiedź tylko na podstawie podanego tekstu.

  1. Otwórz chatbota. Nowa rozmowa.

  2. Wklej:

    Oto jedyny dokument, z którego wolno Ci korzystać. Odpowiadaj wyłącznie na jego podstawie. Jeśli czegoś nie ma, napisz "nie ma w dokumencie". Na końcu wklej dosłowny cytat.
    §3. Pracownikowi przysługuje 26 dni urlopu wypoczynkowego oznaczonego kodem ŻABA-17.
  3. W tej samej rozmowie zapytaj:

    Ile dni urlopu i jaki kod? Potem: ile wynosi dodatek za pracę w niedzielę?
  4. Zapisz dwie etykiety:

    • pierwsze pytanie: z dokumentu (jest ŻABA-17 i cytat) / z treningu (brzmi pewnie, kod inny albo brak cytatu)
    • drugie pytanie: odmowa (“nie ma w dokumencie”) / zmyślenie (jakaś kwota)

Zaliczenie: w ciągu 5 minut masz obie etykiety na kartce. Sukces to rozpoznanie źródła, nie “model nigdy nie zmyśla”.

Typowy wynik: pierwsze z dokumentu, drugie bywa zmyśleniem. Jeśli oba są czyste - zostaw to. Nie dopytuj “no ale spróbuj zgadnąć”.

Jeśli nic nie zgrzyta i zostaje czas: to samo bez zdania “odpowiadaj wyłącznie na podstawie”. Porównaj, czy model nadal trzyma się paragrafu.

  • RAG to otwarta książka: najpierw wyszukaj fragment, potem pisz.
  • Mniej zmyśleń spoza bazy. Nadal można źle przeczytać albo dostać zły fragment.
  • Jeden dokument często wklejasz. Bibliotekę przeszukujesz.

Następny krok: Ustawienia losowania - jak szeroko model losuje kolejny token, gdy już ma (albo nie ma) tę książkę.

Częste pytania

Czym jest RAG w prostych słowach?

RAG to technika, w której model najpierw wyszukuje pasujące fragmenty w dokumentach, a dopiero potem pisze odpowiedź na ich podstawie. Zamiast zgadywać z treningu, dostaje otwartą książkę w momencie pytania.

Czy RAG eliminuje halucynacje?

Ogranicza je, nie likwiduje. Model dostaje prawdziwe fragmenty, więc rzadziej zmyśla fakty spoza bazy - ale nadal może źle odczytać tabelę, skleić dwa akapity w błędny wniosek albo dostać zły fragment z wyszukiwania.

Kiedy wkleić dokument, a kiedy potrzebny jest RAG?

Jeden krótki dokument często wystarczy wkleić w całości do rozmowy. Biblioteka plików, regulamin plus procedury plus archiwum - wtedy wyszukiwanie. Ogromne wklejenie zapełnia okno i chowa środek.

made with ❤️ by aitomate.pl - Łukasz Podgórski