Przejdź do głównej zawartości

AI na własnym komputerze

Przyzwyczailiśmy się, że AI to abonament i chmura: zakładasz konto, płacisz co miesiąc, a każde Twoje pytanie leci przez internet na czyjeś serwery. Mam dla Ciebie wiadomość, która wiele osób szczerze zaskakuje: model językowy to w gruncie rzeczy plik. Duży, ale jednak plik. Model open-weight - czyli taki, którego wagi producent udostępnił do pobrania - możesz ściągnąć na dysk i uruchomić jak każdy inny program. Bez konta, bez abonamentu i bez wysyłania czegokolwiek w świat.

W tym rozdziale pokażę Ci, po co w ogóle uruchamiać AI u siebie, od jakich narzędzi zacząć i które modele dobrze radzą sobie z polszczyzną. Na koniec podpowiem, jaki sprzęt orientacyjnie wystarczy - być może masz go już na biurku.

Trzy powody, dla których warto się tym zainteresować:

  • Prywatność. Wszystko, co wpiszesz do lokalnego modelu, zostaje na Twoim dysku - dane nie opuszczają komputera. Jeśli pracujesz z informacjami, których nie chcesz wysyłać do chmury, to jest rozwiązanie tego problemu u samego źródła. Więcej o tym, co dzieje się z Twoimi danymi w chmurowych chatbotach, przeczytasz w rozdziale o prywatności.
  • Koszty. Model pobierasz raz i koniec - zero abonamentu, zero opłat za każde pytanie. Możesz eksperymentować do woli, nie patrząc na licznik.
  • Niezależność. Lokalny model działa bez internetu i bez niczyjej zgody. Dostawca nie podniesie Ci ceny, nie wyłączy modelu, z którego korzystasz, ani nie zablokuje konta - bo nie ma tu żadnego dostawcy. To suwerenność cyfrowa w najmniejszej możliwej skali: Twojego własnego biurka.

Dodam coś od siebie, bo będę to powtarzać do znudzenia: nie zawsze potrzebujesz najmocniejszego modelu na rynku. Do wielu codziennych zadań - streszczenia notatki, poprawienia maila, szybkiego szkicu tekstu - model frontier (czyli topowy model z pierwszych stron gazet) jest po prostu zbędny i za drogi. Mniejszy model na Twoim komputerze zrobi to samo, za darmo i bez wysyłania danych na zewnątrz.

Nie potrzebujesz do tego wiedzy technicznej - dwa darmowe programy załatwiają całą trudniejszą stronę za Ciebie (Hugging Face).

Ollama to opcja dla osób, którym nie przeszkadza terminal (okno tekstowe, w którym wpisuje się polecenia). Instalujesz program ze strony ollama.com, wpisujesz jedno polecenie i to naprawdę wszystko - Ollama sama pobierze model i uruchomi rozmowę (klewer.pl):

ollama run SpeakLeash/bielik-11b-v3.0-instruct:Q4_K_M

Po pobraniu piszesz z polskim Bielikiem prosto w terminalu. Ollama działa też w tle jako serwer API - czyli udostępnia model innym programom na Twoim komputerze, które potrafią z niego korzystać.

LM Studio to opcja dla osób, które wolą klikać niż pisać polecenia. To zwykła aplikacja okienkowa: instalujesz ją ze strony lmstudio.ai, wpisujesz w wyszukiwarkę “Bielik”, klikasz pobierz - i po chwili rozmawiasz z modelem w oknie, które wygląda jak każdy znany Ci chatbot (klewer.pl).

Istnieje też vLLM - narzędzie do wydajnego serwowania modeli w zastosowaniach produkcyjnych, ale to już temat dla zespołów IT, poza zakresem tego kursu.

Nie każdy model open-weight równie dobrze radzi sobie z polszczyzną. Na szczęście jest w czym wybierać:

  • Bielik 11B v3 i mniejszy Bielik Minitron 7B - polskie modele open-weight, dostępne oficjalnie w Ollama i LM Studio (klewer.pl). Jeśli piszesz po polsku, to naturalny pierwszy wybór.
  • PLLuM 8B i 12B - polska rodzina otwartych modeli (pllum.org.pl).
  • Gemma 3 27B - duży model wielojęzyczny, także open-weight (promptquorum.com) - o ile Twój sprzęt go udźwignie (o tym za chwilę).
  • Ministral 3 - model open-weight od Mistral AI (mistral.ai).

O Bieliku i PLLuM - skąd się wzięły, kto je buduje i dlaczego to ważne - przeczytasz więcej w pierwszym artykule tej sekcji, poświęconym polskim modelom.

Najważniejsza liczba to pamięć karty graficznej (VRAM) - to w niej model “mieszka” podczas pracy. Poniższa tabela zakłada modele w kwantyzacji Q4, czyli skompresowane tak, żeby zajmowały mniej pamięci kosztem odrobiny jakości (localllm.in):

Pamięć karty graficznej (VRAM) Jakie modele uruchomisz
8-12 GB mniejsze modele (7-8 mld parametrów), np. Bielik Minitron 7B
16-24 GB modele średnie (22-35 mld parametrów), np. Gemma 3 27B (ok. 17 GB)
48 GB i więcej największe modele open-weight (70 mld parametrów i więcej)

Te liczby traktuj orientacyjnie - stan na lipiec 2026. I ważne zastrzeżenie: słabszy sprzęt nie oznacza, że nic nie uruchomisz. Modele ruszą też bez mocnej karty graficznej, tylko wolniej - na start wystarczy zwykły laptop i odrobina cierpliwości.

Częste pytania

Czy AI może działać bez internetu?

Tak. Po jednorazowym pobraniu modelu open-weight na dysk wszystko dzieje się na Twoim komputerze - rozmowa działa bez połączenia z internetem, a Twoje dane nigdzie nie wychodzą.

Jaki komputer jest potrzebny do lokalnego AI?

Orientacyjnie - komputer z 8-12 GB pamięci karty graficznej (VRAM) uruchomi mniejsze modele (7-8 mld parametrów), a 16-24 GB pozwala na modele średnie. Na słabszym sprzęcie modele też ruszą, tylko wolniej - na start wystarczy zwykły laptop i cierpliwość.

Który lokalny model wybrać na start, jeśli piszę po polsku?

Bielik - polski model open-weight, dostępny oficjalnie w Ollama i LM Studio. Dobrze rozumie polski, a instalacja sprowadza się do jednego polecenia lub kilku kliknięć.

made with ❤️ by aitomate.pl - Łukasz Podgórski