Przez lata uruchamianie dużego modelu językowego na własnym sprzęcie wymagało albo potężnego serwera GPU (koszt: 50–100 tys. zł), albo rezygnacji z jakości. W tym tygodniu na Hacker News pojawiło się demo, które zmienia ten rachunek: model Qwen 3.8 Flash Next (125 miliardów parametrów) działa na jednej karcie RTX 4090 z prędkością 100 tokenów na sekundę.
Dla biznesu to nie ciekawostka techniczna. To zmiana kosztowo-prawna.
Dlaczego firmy unikają chmury AI
Większość dużych modeli AI (GPT, Claude, Gemini) działa na serwerach dostawcy. Wysyłasz zapytanie → dane lądują u nich. Dla wielu branż to problem:
- Dane medyczne, prawne, finansowe → RODO i tajemnica zawodowa
- Dokumenty handlowe → tajemnica przedsiębiorstwa
- Wewnętrzne rozmowy z klientami → poufność kontraktowa
Do tej pory lokalny LLM oznaczał modele 7B–13B parametrów — wystarczające do prostych zadań, ale daleko za GPT-4 przy złożonej analizie.
Co zmienia 125B na jednej karcie
RTX 4090 kosztuje ok. 8–10 tys. zł i jest dostępna w każdym sklepie z elektroniką. Wcześniej modele 100B+ wymagały 4–8 takich kart jednocześnie.
100 tokenów/s to prędkość, przy której rozmowa z AI nie frustruje — zbliżona do używania Claude czy GPT-4 przez API.
Dla firmy: zamiast płacić per token i wysyłać dane do chmury, kupujesz kartę raz i masz model lokalnie. Przy intensywnym użyciu (analiza dokumentów, obsługa zapytań 24/7) zwrot z inwestycji może nastąpić w kilka miesięcy.
Kiedy to ma sens w B2B
- Kancelarie prawne i biura rachunkowe — analiza umów i faktur bez wychodzenia z sieci firmowej
- Firmy ubezpieczeniowe — przetwarzanie wniosków na własnym sprzęcie
- Produkcja i logistyka — klasyfikacja dokumentów w odizolowanej sieci OT
- Każda firma z umowami NDA zakazującymi wysyłania danych do podmiotów trzecich
Co zrobić teraz
Nie musisz od razu kupować RTX 4090. Dwa pierwsze kroki:
- Sprawdź które procesy w firmie używają AI z danymi poufnymi
- Przetestuj Ollama (bezpłatne) na dowolnym laptopie z kartą NVIDIA — nawet modele 7B–13B dadzą ci obraz jak to działa
Lokalny LLM to nie zabawka dla geeków. To coraz poważniejsza alternatywa dla firm, które nie mogą lub nie chcą oddawać danych w chmurę.
