Mistral AI, modele na licencji Apache 2.0

Mistral AI, modele bez gwiazdki przy licencji

Mistral to francuska firma wydająca modele językowe z wagami, przy czym robi to na licencji Apache 2.0, a nie na własnej licencji z warunkami. Ta różnica brzmi jak szczegół prawny, a przy wdrożeniu w firmie potrafi zdecydować o wyborze.

Apache 2.0 to licencja permisywna bez warunków dodatkowych: wolno używać komercyjnie, modyfikować, dostrajać i wdrażać bez progów skali, bez polityki dopuszczalnego użycia narzuconej przez wydawcę i bez obowiązku oznaczania. Dział prawny czyta ją w kwadrans i nie ma pytań.

Dlaczego licencja ma znaczenie

Modele z wagami dzielą się dziś na dwie grupy, które w rozmowach mieszają się pod jednym określeniem „otwarte".

Pierwsza to modele na licencjach permisywnych, gdzie ograniczeń praktycznie nie ma. Druga to modele na licencjach własnych wydawcy, gdzie użytek komercyjny jest dozwolony, ale obwarowany: progiem liczby użytkowników, polityką dopuszczalnego zastosowania albo wymogiem oznaczenia produktu.

Dla większości firm ta druga grupa też jest w porządku, bo warunki są łagodne. Problem pojawia się przy trzech rodzajach organizacji: bardzo dużych, gdzie próg skali może zadziałać, działających w branżach regulowanych, gdzie każdy warunek trzeba udokumentować, oraz tych, które odsprzedają model dalej jako część własnego produktu.

Drugi aspekt to trwałość. Licencja permisywna raz nadana nie da się cofnąć dla już pobranych wag, więc model pozostaje Twój niezależnie od tego, co wydawca zdecyduje później.

Warianty i do czego służą

Rodzina obejmuje kilka rozmiarów przeznaczonych do różnych zadań, przy czym najnowsza generacja postawiła na architekturę mieszanki ekspertów.

Wariant największy ma około sześciuset siedemdziesięciu pięciu miliardów parametrów łącznie, z czego przy każdym tokenie pracuje około czterdziestu jeden miliardów. Okno kontekstu sięga dwustu pięćdziesięciu sześciu tysięcy tokenów, co pokrywa większość zastosowań poza analizą całych repozytoriów.

Wariant średni jest kompromisem między jakością a kosztem i to on stoi za trybem agentowym w aplikacji czatowej wydawcy. Wariant mały nadaje się do klasyfikacji, tagowania i przetwarzania masowego, gdzie liczy się przepustowość i cena.

Osobno rozwijane są modele wyspecjalizowane: do kodu, do przetwarzania dokumentów i do mowy. Ta ostatnia kategoria bywa argumentem sama w sobie, bo pozwala zbudować cały przepływ głosowy u jednego dostawcy albo w całości u siebie, bez składania rozwiązania z części pochodzących od trzech różnych firm.

Architektura mieszanki ekspertów ma konsekwencję, którą warto znać przed zakupem sprzętu. Model liczy szybko, bo pracuje część parametrów, ale do pamięci trzeba wczytać całość. Największy wariant nie zmieści się na pojedynczej karcie i wymaga maszyny serwerowej albo wynajmu.

Praca przez API

Interfejs jest zgodny z popularnym formatem, więc integracja sprowadza się do zmiany adresu i nazwy modelu.

pip install mistralai
export MISTRAL_API_KEY=...

from mistralai import Mistral

klient = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

odpowiedz = klient.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Sklasyfikuj to zgloszenie: ..."}],
)

print(odpowiedz.choices[0].message.content)

Do zadań wymagających przewidywalnego kształtu odpowiedzi użyj wymuszenia formatu, zamiast parsować tekst wyrażeniami regularnymi. Wywoływanie narzędzi działa tak samo jak u innych dostawców, więc biblioteki agentowe pokroju LangChaina obsługują te modele bez dodatkowej pracy.

Ceny układają się w trzy poziomy odpowiadające rozmiarom modeli, przy czym wariant mały kosztuje rzędu dwudziestu centów za milion tokenów wejścia, średni kilkukrotnie więcej, a największy jeszcze więcej. Stawki bywają korygowane, więc przed policzeniem budżetu na rok sprawdź aktualny cennik u źródła.

Warto policzyć koszt jednego przebiegu na dziesięciu realnych przypadkach, zamiast opierać się na cenniku. Dopiero wtedy widać, ile faktycznie tokenów zużywają Twoje prompty.

Uruchomienie u siebie

Skoro licencja na to pozwala, uruchomienie modelu na własnym sprzęcie jest normalną ścieżką, a nie wyjątkiem.

ollama pull mistral-small
ollama run mistral-small

Warianty małe i średnie działają na sprzęcie, który da się kupić: komputer z pamięcią zunifikowaną rzędu trzydziestu dwóch gigabajtów albo karta z dwudziestoma czterema gigabajtami wystarcza przy kwantyzacji czterobitowej. Wariant największy wymaga maszyny serwerowej.

Więcej o samym uruchamianiu modeli lokalnie znajdziesz w tekście o Ollamie. Przy wdrożeniu produkcyjnym obsługującym wielu użytkowników potrzebny jest natomiast serwer grupujący żądania w partie, bo narzędzie do pracy jednoosobowej nie da przepustowości.

Trzecia droga to wynajem modelu z wagami u dostawcy chmurowego. Zachowujesz wtedy możliwość dostrajania i niezależność od jednej firmy, tracąc pełną prywatność danych.

Język polski i inne języki europejskie

To obszar, w którym te modele wypadają lepiej, niż wynikałoby z ich rozmiaru, i jeden z realnych powodów, żeby po nie sięgnąć.

Modele trenowane głównie na danych angielskich radzą sobie w polszczyźnie zauważalnie słabiej, co widać przy odmianie, składni i słownictwie specjalistycznym. Europejski wydawca ma tu inne proporcje w danych treningowych i przekłada się to na jakość.

Nie zwalnia to jednak z testu. Różnice między modelami są mocno zależne od dziedziny, więc porównaj dwa albo trzy warianty na własnych przykładach, zanim wybierzesz. Trzydzieści prawdziwych przypadków wystarczy, żeby zobaczyć, który model rozumie Twoje słownictwo.

Modele wyspecjalizowane

Poza modelami ogólnymi wydawca rozwija kilka linii przeznaczonych do konkretnych zadań, a to one bywają powodem, dla którego warto tu zajrzeć.

Model do kodu jest dostrojony na repozytoriach i sprawdza się w uzupełnianiu oraz w wyjaśnianiu fragmentów. W wariancie mniejszym działa lokalnie na zwykłym laptopie, więc daje się wpiąć do edytora jako asystent, którego kod nie opuszcza maszyny.

Model do przetwarzania dokumentów zamienia pliki, w tym skany i pliki PDF, na uporządkowany tekst z zachowaniem układu, tabel i kolejności czytania. To rozwiązuje najbardziej uciążliwy etap budowania wyszukiwania po własnych dokumentach, gdzie zwykłe wydobycie tekstu miesza kolumny i gubi tabele.

Modele mowy obejmują rozpoznawanie i syntezę, więc cały przepływ głosowy da się złożyć u jednego dostawcy albo uruchomić we własnej infrastrukturze. Przy zastosowaniach, gdzie nagranie rozmowy nie może opuścić firmy, to bywa jedyna dopuszczalna droga.

Warto zauważyć, że te modele nie są konkurencją dla siebie nawzajem, tylko elementami jednego przepływu. Dokumenty przechodzą przez model do ekstrakcji, trafiają do bazy wektorowej pokroju Qdranta, a odpowiedzi generuje model ogólny.

Kiedy model własny wychodzi taniej

Rachunek jest prostszy, niż się wydaje, i warto go zrobić przed decyzją, a nie po niej.

Model rozliczany za tokeny kosztuje proporcjonalnie do ruchu, więc przy stu wywołaniach dziennie rachunek jest niewielki, a przy stu tysiącach poważny. Model własny kosztuje tyle, ile maszyna, niezależnie od tego, czy pracuje.

Próg opłacalności wypada zwykle w okolicach kilku tysięcy wywołań dziennie przy zadaniach o średniej długości, przy czym zależy od wybranego wariantu i od tego, czy maszyna stoi u Ciebie, czy jest wynajmowana godzinowo.

Do rachunku trzeba dodać koszty, o których łatwo zapomnieć: czas na wdrożenie i utrzymanie serwera, monitorowanie, aktualizacje i zapas mocy na szczyt. Przy małym zespole ten koszt bywa wyższy niż różnica w rachunku za tokeny.

Rozsądny układ pośredni polega na kierowaniu ruchu według rodzaju zadania. Klasyfikacja i tagowanie idą do modelu własnego, bo są masowe i proste. Zadania trudne i rzadkie idą do API, bo tam liczy się jakość, a wolumen jest niski.

Mistral kontra alternatywy

Dwa pierwsze wiersze to najczęstszy wybór przy modelach z wagami i rozstrzyga go zwykle licencja albo język. Jeśli potrzebujesz permisywnej licencji lub pracujesz na treściach po polsku, pierwszy wiersz wygrywa. Jeśli liczy się liczba gotowych narzędzi, dostrojonych wariantów i materiałów, wygrywa drugi. Poza tą dwójką stoi jeszcze Kimi od Moonshot AI: model mieszanki ekspertów z publicznymi wagami, milionem tokenów kontekstu i wynikami na poziomie modeli zamkniętych w zadaniach programistycznych. Różnica jest w skali i w licencji. Do pamięci trzeba wczytać wszystkie parametry, więc uruchomienie u siebie oznacza kilka maszyn z kartami zamiast jednej, a licencja ma warunki dodatkowe, które uruchamiają się przy dużym produkcie konsumenckim.

Warto natomiast unikać wyboru wyłącznie na podstawie tabeli, także tej. Modele zmieniają się co kilka miesięcy, a różnice w konkretnym zastosowaniu bywają odwrotne do ogólnych wrażeń. Trzydzieści prawdziwych przypadków przepuszczonych przez dwa modele daje odpowiedź, której żadne zestawienie nie zastąpi, a zajmuje popołudnie.

Typowe błędy

Pierwszy to wybór wariantu według nazwy zamiast według zadania. Klasyfikacja zgłoszeń na największym modelu to przepłacanie kilkukrotne wobec wariantu małego, który poradzi sobie równie dobrze.

Drugi to zakup sprzętu pod największy model bez policzenia pamięci. Architektura mieszanki ekspertów wymaga wczytania wszystkich parametrów, więc szybkość generowania nie zmniejsza wymagań pamięciowych.

Trzeci to poleganie na cudzych zestawieniach przy wyborze. Publiczne wyniki mierzą zadania, które rzadko przypominają Twoje, a różnice w polszczyźnie bywają odwrotne do tych w angielskim.

Czwarty to pominięcie kosztu stałego przy modelu własnym. Maszyna kosztuje tyle samo w dzień bez ruchu, co w szczycie, więc przy niewielkim wolumenie API bywa tańsze.

Piąty to traktowanie licencji permisywnej jako braku obowiązków. Apache 2.0 wymaga zachowania informacji o licencji i o autorach, co przy dystrybucji modelu dalej ma znaczenie.

Szósty to brak warstwy oddzielającej logikę od dostawcy. Cienki interfejs z jednym sposobem wywołania pozwala porównać modele na własnych danych, a to jedyny miarodajny test.

FAQ

Czy modele Mistral są naprawdę otwarte?

Główne modele wydawane są na licencji Apache 2.0, czyli licencji permisywnej bez warunków dodatkowych. To odróżnia je od części konkurencji, gdzie użytek komercyjny jest dozwolony, ale obwarowany progiem skali albo polityką zastosowania. Warto sprawdzić licencję konkretnego wariantu, bo nie wszystkie modele wydawcy są udostępniane tak samo.

Ile kosztuje API?

Ceny układają się w trzy poziomy według rozmiaru modelu, od około dwudziestu centów za milion tokenów wejścia przy wariancie małym, przez kilkukrotnie więcej przy średnim, po najwyższą stawkę przy największym. Jest też poziom darmowy do testów. Stawki bywają zmieniane, więc przed budżetowaniem sprawdź aktualny cennik.

Mistral czy Llama?

Mistral wybierzesz, gdy potrzebujesz licencji bez warunków albo pracujesz na treściach w językach europejskich. Llamę wybierzesz, gdy zależy Ci na największym ekosystemie narzędzi, gotowych wariantach dostrojonych i materiałach społeczności. Oba warto porównać na własnych danych.

Jaki sprzęt jest potrzebny do uruchomienia u siebie?

Warianty małe i średnie działają na komputerze z pamięcią zunifikowaną rzędu trzydziestu dwóch gigabajtów albo na karcie z dwudziestoma czterema gigabajtami przy kwantyzacji czterobitowej. Wariant największy wymaga maszyny serwerowej, więc najczęściej wynajmuje się go u dostawcy chmurowego.

Czy da się dostroić model do własnej dziedziny?

Tak, i licencja tego nie ogranicza. Dostrajanie metodą niskiego rzędu mieści się na pojedynczej karcie przy mniejszych wariantach. Zanim jednak zaczniesz, sprawdź, czy dobrze napisana instrukcja z kilkoma przykładami nie daje podobnego wyniku, bo w połowie przypadków daje.

Suwerenność danych i wdrożenia regulowane

Osobnym powodem, dla którego europejskie firmy sięgają po tego wydawcę, jest miejsce przetwarzania danych. Model uruchomiony we własnej infrastrukturze nie wysyła niczego na zewnątrz, a przy korzystaniu z API znaczenie ma to, gdzie fizycznie stoją serwery.

W branżach regulowanych ten aspekt bywa ważniejszy od jakości modelu. Zgoda na przetwarzanie danych osobowych poza wybranym obszarem wymaga dokumentacji, której czasem po prostu nie da się skompletować w rozsądnym czasie.

Model z wagami rozwiązuje ten problem u źródła, bo pytanie o transfer danych przestaje istnieć. To zresztą powtarzalny wzorzec: projekt zaczyna się od modelu w chmurze, a po pierwszym audycie przechodzi na model własny dla części przepływu dotykającej danych wrażliwych.

Warto zaplanować taki podział od początku, nawet jeśli na starcie wszystko idzie do API. Cienka warstwa z jednym interfejsem wywołań pozwala przekierować wybrane zadania do modelu lokalnego bez przepisywania aplikacji.

Modele i licencje opisuje strona wydawcy, zapowiedź najnowszej generacji znajdziesz we wpisie o Mistral 3, a wagi udostępniane są przez Hugging Face.