Llama, modele o otwartych wagach od Mety

Llama, model, który możesz pobrać i uruchomić u siebie

Llama to rodzina modeli językowych Mety udostępnianych z wagami, czyli z samym modelem, a nie tylko dostępem przez API. Różnica jest zasadnicza: model zamknięty wynajmujesz, model z wagami pobierasz, uruchamiasz na swoim sprzęcie i nikt nie wie, o co go pytasz.

To ma znaczenie w trzech sytuacjach: gdy dane nie mogą opuścić firmy, gdy koszt za token przy dużym wolumenie przewyższa koszt sprzętu i gdy potrzebujesz modelu dostrojonego do własnej dziedziny.

Czym różni się od modeli zamkniętych

Pierwsza różnica dotyczy tego, gdzie fizycznie dzieje się obliczenie. Model zamknięty przetwarza Twój tekst na serwerze dostawcy, model z wagami na Twojej maszynie albo na maszynie wybranego dostawcy chmurowego. Dla części branż to jedyny dopuszczalny wariant.

Druga to koszt. Model zamknięty rozliczasz za tokeny, więc rachunek rośnie liniowo z ruchem. Model własny rozliczasz za czas maszyny, więc koszt jest stały i przy dużym wolumenie wychodzi taniej, a przy małym drożej, bo maszyna stoi i tak.

Trzecia to trwałość. Model pobrany raz działa dalej, gdy dostawca zmieni cennik, wycofa wersję albo zamknie usługę. Aplikacja na modelu zamkniętym musi przy każdym takim zdarzeniu przechodzić migrację.

Czwarta to jakość. Tu przewaga leży po stronie modeli zamkniętych, zwłaszcza przy trudnym rozumowaniu i długich zadaniach agentowych. Różnica maleje z każdą generacją, ale nadal istnieje i przy wyborze warto to nazwać wprost, zamiast liczyć na to, że zestawienia to załatwią.

Warianty czwartej generacji

Czwarta generacja przyniosła dwa modele udostępnione publicznie, oparte na architekturze mieszanki ekspertów, w której przy każdym tokenie pracuje tylko część parametrów.

Wariant lżejszy wyróżnia się bardzo długim oknem kontekstu, sięgającym milionów tokenów, co pozwala wrzucić do zapytania całą dokumentację albo obszerne repozytorium. Wariant mocniejszy jest ogólnym modelem do zadań wymagających więcej.

Zapowiedziano też model największy, o blisko dwóch bilionach parametrów łącznie, który jednak nie został udostępniony z wagami. Warto o tym pamiętać przy planowaniu, bo zapowiedź nie jest dostępnością.

Warto też znać datę. Oba udostępnione modele wyszły na początku kwietnia 2025 roku i od tamtej pory nie pojawiła się nowsza generacja z wagami, a kierownictwo Mety zastrzegło publicznie, że nie każdy z najmocniejszych modeli trafi do publicznego obiegu. Rodzina działa i nadal ją pobierzesz, natomiast planując na dwa lata do przodu, nie zakładaj kolejnej generacji w tym samym rytmie.

Architektura mieszanki ekspertów ma jedną konsekwencję praktyczną, którą łatwo przeoczyć. Liczba parametrów aktywnych przy generowaniu jest mniejsza od całkowitej, więc model liczy szybko, ale do pamięci trzeba załadować całość. Sprzęt dobierasz według liczby całkowitej, a szybkość otrzymujesz jak przy modelu mniejszym.

Licencja, czyli rzecz do przeczytania

Modele nie są udostępnione na licencji otwartego oprogramowania w klasycznym rozumieniu, tylko na własnej licencji społecznościowej. To rozróżnienie ma skutki prawne, więc warto je znać przed wdrożeniem.

Licencja pozwala na użytek komercyjny, co pokrywa większość zastosowań. Nakłada jednak warunki: obowiązuje polityka dopuszczalnego użycia, wymagane jest oznaczenie, a przy bardzo dużej skali działalności pojawiają się dodatkowe wymogi.

Praktyczny wniosek jest taki, że dla typowej firmy licencja nie stanowi przeszkody, ale nie jest też tym samym co licencja permisywna. Jeśli Twój dział prawny pyta o warunki, odpowiedź „to model otwarty" jest nieścisła i lepiej podać nazwę licencji.

Gdy potrzebujesz licencji bez warunków, warto rozważyć modele udostępniane na licencji Apache 2.0, których w ostatnich latach przybyło i które w części zastosowań dorównują tej rodzinie.

Uruchomienie lokalne

Najprostsza droga prowadzi przez narzędzie, które pobiera model i uruchamia serwer lokalny jednym poleceniem.

ollama pull llama4:scout
ollama run llama4:scout

Do integracji z aplikacją używasz interfejsu zgodnego z popularnym formatem, więc kod pisany pod dostawcę chmurowego działa po zmianie adresu.

from openai import OpenAI

klient = OpenAI(base_url="http://localhost:11434/v1", api_key="lokalnie")

odpowiedz = klient.chat.completions.create(
    model="llama4:scout",
    messages=[{"role": "user", "content": "Streszc ponizszy tekst w trzech punktach: ..."}],
)

Ta zgodność jest ważniejsza, niż wygląda. Pozwala porównać model lokalny z chmurowym na własnych danych bez przepisywania aplikacji, a to jedyny miarodajny test przy wyborze.

Więcej o samym narzędziu do uruchamiania modeli lokalnie znajdziesz w tekście o Ollamie, która stała się domyślnym sposobem pracy z tą rodziną na własnym sprzęcie.

Wymagania sprzętowe

To najczęstsze źródło rozczarowania, więc warto podejść do niego liczbowo. Zapotrzebowanie na pamięć wynika z liczby parametrów i z precyzji, w jakiej model jest zapisany.

Do tego dochodzi pamięć na kontekst, która rośnie z jego długością. Bardzo długie okno kontekstu wygląda atrakcyjnie w opisie, a w praktyce wymaga pamięci, której zwykły komputer nie ma.

Tu pojawia się rzecz, którą łatwo przeoczyć przy czytaniu o czwartej generacji. Lżejszy z jej modeli ma sto dziewięć miliardów parametrów łącznie, więc pakiet czterobitowy w rejestrze Ollamy waży sześćdziesiąt siedem gigabajtów, a producent pisze wprost, że model mieści się dopiero na pojedynczej karcie serwerowej. Na komputerze biurkowym nie uruchomisz go wcale.

Rozsądny punkt wyjścia dla sprzętu domowego to komputer z pamięcią zunifikowaną rzędu trzydziestu dwóch gigabajtów albo karta z dwudziestoma czterema gigabajtami pamięci, a na nim mieszczą się mniejsze modele wcześniejszych generacji tej rodziny, z ośmiomiliardowym w roli konia roboczego. Wariant siedemdziesięciomiliardowy potrzebuje w kwantyzacji czterobitowej około trzydziestu pięciu gigabajtów, czyli już więcej, niż daje typowa karta.

Jeśli sprzęt nie wystarcza, alternatywą jest wynajem modelu z wagami u dostawcy chmurowego. Zachowujesz wtedy niezależność od jednej firmy i możliwość dostrajania, tracąc pełną prywatność danych.

Dostrajanie do własnej dziedziny

Największa przewaga modelu z wagami ujawnia się przy zadaniach specyficznych, gdzie model ogólny radzi sobie średnio, bo nie zna Twojego słownictwa ani konwencji.

Dostrajanie metodą niskiego rzędu zmienia tylko niewielki zestaw dodatkowych parametrów, więc mieści się na pojedynczej karcie i trwa godziny, a nie tygodnie. Wynikiem jest niewielki plik nakładany na model bazowy.

Trzy rzeczy decydują o powodzeniu. Pierwsza to dane: kilkaset dobrych przykładów działa lepiej niż dziesięć tysięcy przypadkowych. Druga to zestaw sprawdzający odłożony przed rozpoczęciem, bo bez niego nie wiesz, czy model się poprawił, czy tylko nauczył się zbioru treningowego. Trzecia to porównanie z prostszym rozwiązaniem: często dobrze napisana instrukcja z kilkoma przykładami w prompcie daje wynik zbliżony bez żadnego trenowania.

Warto zacząć od tego ostatniego. Dostrajanie ma sens, gdy prompt osiągnął swój pułap, a nie zamiast pracy nad promptem.

Wdrożenie produkcyjne, czyli co poza laptopem

Narzędzie do uruchamiania modelu lokalnie sprawdza się przy pracy jednej osoby. Aplikacja obsługująca wielu użytkowników potrzebuje serwera obsługującego wiele żądań naraz, a to inna klasa oprogramowania.

Serwery przeznaczone do wdrożeń produkcyjnych grupują żądania w partie i współdzielą pamięć podręczną uwagi między nimi, dzięki czemu przepustowość rośnie wielokrotnie wobec obsługi pojedynczej. Przy dziesięciu równoległych rozmowach różnica jest rzędu kilkukrotnego, a nie procentowego.

Druga rzecz to limity. Model bez ograniczenia długości odpowiedzi i liczby równoległych żądań zapełni pamięć i zacznie odrzucać połączenia. Warto ustalić te wartości na podstawie pomiaru, a nie założeń.

Trzecia to monitorowanie. Interesują Cię trzy liczby: czas do pierwszego tokenu, liczba tokenów na sekundę i zużycie pamięci karty. Pierwsza mówi o odczuciu użytkownika, druga o przepustowości, trzecia o tym, jak blisko jesteś ściany.

Czwarta to plan na wzrost. Model, który mieści się na jednej karcie przy pięciu użytkownikach, przy pięćdziesięciu wymaga albo drugiej maszyny, albo mniejszego wariantu. Ten drugi kierunek bywa lepszy, bo model mniejszy z dobrym promptem często wystarcza, a kosztuje o rząd wielkości mniej.

Kontekst i wyszukiwanie zamiast dostrajania

Bardzo długie okno kontekstu kusi, żeby wrzucać całą dokumentację do zapytania i pominąć budowanie wyszukiwania. Czasem to właściwa decyzja, częściej najdroższy sposób odpowiedzenia na pytanie.

Przy analizie jednorazowej długi kontekst wygrywa: przeczytanie obszernego dokumentu, porównanie dwóch wersji specyfikacji, przejrzenie zrzutu logów. Robisz to raz, a model widzi całość i wychwytuje sprzeczności między odległymi fragmentami.

W aplikacji odpowiadającej na pytania użytkowników przegrywa. Sto tysięcy tokenów kontekstu przy każdym pytaniu oznacza czas przetwarzania i zajętą pamięć, więc baza wektorowa pokroju Chromy albo rozszerzenia pgvector wychodzi wielokrotnie taniej i szybciej.

Reguła praktyczna brzmi: długi kontekst do zadań jednorazowych i obszernych, wyszukiwanie do zadań powtarzalnych. Mieszanie tych dwóch dróg, czyli wyszukiwanie plus umiarkowany kontekst, sprawdza się najlepiej w większości wdrożeń.

Llama kontra alternatywy

Wybór rzadko jest wykluczający. Częsty układ to model lokalny do klasyfikacji i przetwarzania masowego, gdzie liczy się koszt, oraz model zamknięty do zadań trudnych, gdzie liczy się jakość. Cienka warstwa z jednym interfejsem pozwala kierować ruch do jednego albo drugiego.

Ten podział ma jeszcze jedną zaletę, o której rzadko się mówi. Kierowanie części ruchu do modelu własnego daje realny punkt odniesienia, jak dobre jest to rozwiązanie na Twoich danych. Bez tego porównania decyzja o ewentualnym przejściu w całości opiera się na cudzych zestawieniach, a te mierzą co innego niż Twój przypadek.

Warto też zauważyć, że sama możliwość zejścia z modelu zamkniętego bywa warta więcej niż samo zejście. Dostawca, u którego jesteś jedynym możliwym klientem, negocjuje inaczej niż dostawca, którego można zastąpić w tydzień.

Typowe błędy

Pierwszy to porównywanie modeli na cudzych zestawieniach. Publiczne wyniki mierzą zadania, które rzadko przypominają Twoje, a różnice między modelami są mocno zależne od języka i dziedziny.

Drugi to pominięcie języka innego niż angielski. Modele otwarte wypadają w polszczyźnie słabiej niż w angielskim, więc test na własnych danych jest tu obowiązkowy, a nie zalecany.

Trzeci to wybór wariantu według liczby parametrów bez sprawdzenia pamięci. Model, który nie mieści się w pamięci karty, zejdzie na procesor i będzie działał wielokrotnie wolniej.

Czwarty to nazywanie tych modeli otwartoźródłowymi w dokumentach firmowych. Licencja jest własna i ma warunki, więc precyzja w tej sprawie oszczędza rozmów z działem prawnym.

Piąty to dostrajanie zamiast poprawiania promptu. To droższa i wolniejsza droga do celu, który w połowie przypadków osiąga się instrukcją i kilkoma przykładami.

Szósty to zapominanie o kosztach stałych. Maszyna z kartą graficzną kosztuje tyle samo w dzień bez ruchu, co w dzień szczytu, więc przy niewielkim wolumenie model rozliczany za tokeny bywa tańszy.

FAQ

Czy Llama jest darmowa?

Wagi są dostępne bez opłat, ale licencja nie jest klasyczną licencją otwartego oprogramowania. Użytek komercyjny jest dozwolony przy spełnieniu warunków, w tym polityki dopuszczalnego użycia i wymogu oznaczenia. Przy bardzo dużej skali działalności pojawiają się dodatkowe zapisy, więc warto przeczytać tekst licencji.

Jaki sprzęt jest potrzebny?

Do mniejszych modeli wcześniejszych generacji w kwantyzacji czterobitowej wystarcza komputer z pamięcią zunifikowaną rzędu trzydziestu dwóch gigabajtów albo karta z dwudziestoma czterema gigabajtami. Oba modele czwartej generacji wymagają już maszyny serwerowej, bo nawet lżejszy z nich zajmuje kilkadziesiąt gigabajtów samych wag, a najprostszą drogą bywa wtedy wynajem u dostawcy chmurowego.

Czy Llama dorównuje modelom zamkniętym?

W zadaniach typowych, jak streszczanie, klasyfikacja i proste generowanie, różnica jest niewielka. W trudnym rozumowaniu, pracy z kodem i długich zadaniach agentowych czołowe modele zamknięte nadal wypadają lepiej. Porównanie warto przeprowadzić na własnych danych, bo różnice zależą od dziedziny.

Jak Llama radzi sobie po polsku?

Słabiej niż po angielsku, co dotyczy większości modeli otwartych. Przy zastosowaniach w języku polskim koniecznie przetestuj kilka wariantów na własnych przykładach, bo różnice bywają większe niż między generacjami tego samego modelu.

Kiedy model lokalny wychodzi taniej?

Gdy wolumen jest wysoki i stały. Maszyna kosztuje tyle samo niezależnie od ruchu, więc próg opłacalności zależy od tego, ile wywołań dziennie obsługujesz. Przy kilkuset wywołaniach dziennie model rozliczany za tokeny zwykle wygrywa, przy dziesiątkach tysięcy przewaga przechodzi na stronę własnego sprzętu.

Modele i licencję opisuje strona projektu, wagi pobierzesz przez Hugging Face, a karty modeli i narzędzia pomocnicze leżą w repozytorium Mety na GitHubie.