Nowości

llama.cpp 1.0 i ggml 1.0: lokalne modele AI ze stabilnym API, do tego Rust 1.100

llama.cpp i ggml wydały wersję 1.0 ze stabilnym API. Co to zmienia, jak uruchomić lokalny model i czego uczy semver. Do tego Rust 1.100 i łatki Node.js.

Redakcja CodeWorlds
llama.cpp 1.0 i ggml 1.0: lokalne modele AI ze stabilnym API, do tego Rust 1.100
  • Hugging Face
  • Ollama
W tym artykule5

13 listopada zespół ggml-org wydał llama.cpp i ggml w wersji 1.0.0. Na tych dwóch bibliotekach działa spora część narzędzi do uruchamiania modeli językowych na własnym komputerze. Najważniejsza nowość nie dotyczy szybkości, tylko obietnicy: od teraz każda zmiana psująca API w C oznacza nowy numer główny wersji.

llama.cpp i ggml 1.0: wersjonowanie semantyczne, porządki w API i bezpieczniejszy serwer

ggml to biblioteka do obliczeń na tensorach, która liczy na procesorze i na kartach graficznych. llama.cpp korzysta z niej do uruchamiania modeli językowych i dokłada bibliotekę libllama, program llama cli oraz serwer HTTP. Rano 13 listopada na GitHubie pojawiło się ggml v1.0.0, a niecałe dwie godziny później llama.cpp v1.0.0. Repozytorium llama.cpp istnieje od marca 2023 roku i ma ponad 135 tys. gwiazdek na GitHubie.

Co oznacza numer 1.0

We wpisie na blogu Hugging Face zespół tłumaczy, że obie biblioteki stosują wersjonowanie semantyczne. Wersja główna rośnie przy zmianie, która psuje publiczne API w C (nagłówki w katalogu include), pomocnicza przy nowych funkcjach, backendach i modelach, a trzecia liczba (patch) przy samych poprawkach błędów. Podbicie wersji głównej ma też sygnalizować niezgodność ABI, czyli sytuację, w której program korzystający z biblioteki trzeba skompilować od nowa.

ggml wychodziło wcześniej w wersjach 0.x, a llama.cpp numeruje tak wydania od sierpnia. Z zasad wydań projektów ggml-org wynika, że publiczny jest llama.h, a pomocniczy llama-ext.h może się zmieniać bez podbijania wersji. Nocne buildy z numerami typu b12359 będą wychodzić dalej.

Porządki przed obietnicą

Żeby obiecać stabilność, trzeba było posprzątać. Z llama.h zniknęło 35 przestarzałych funkcji, a do tego llama_set_warmup i opcja --defrag-thold. API do dekodowania spekulatywnego NextN przeszło z llama-ext.h do publicznego nagłówka. Twórcy ggml usunęli stare operacje DIAG_MASK i podbili protokół RPC do wersji 9, więc węzły ze starszą wersją protokołu zostaną odrzucone przy łączeniu. Jeśli piszesz kod w C lub C++ na tych bibliotekach, przed aktualizacją sprawdź, czy nie używasz usuniętych funkcji.

Nowe funkcje i bezpieczniejszy serwer

llama.cpp dostał cache KV w formacie FP8, cache ekspertów MoE w pamięci RAM z regulowanym udziałem procesora i obsługę nowych architektur, między innymi Kimi-K3.1-Pro i Ripple-65B-Preview. Według bloga projekt obsługuje już ponad 150 wariantów architektur. Serwer ma nowy endpoint /v1/audio/speech zgodny z API OpenAI, a backendy ggml, od CUDA po WebGPU, dostały poprawki wydajności.

Dla osób, które wystawiają serwer w sieci, ważniejsza jest część o bezpieczeństwie. Wydanie łata podatność SSRF w proxy CORS, blokuje ataki typu DNS rebinding i poprawia obsługę --cors-origins. Udostępnianie narzędzi bez uwierzytelnienia i pobieranie mediów z prywatnych adresów trzeba teraz włączyć samemu (--allow-unauthenticated-tools, --media-allow-private-urls), a token HF_TOKEN trafia już tylko do hostów huggingface.co. Naszym zdaniem najwięcej zyskują twórcy aplikacji, którzy dołączają libllama do własnych programów: wreszcie wiedzą, kiedy aktualizacja może coś zepsuć.

Co to znaczy, jeśli uczysz się programowania

Numer wersji to umowa między autorami biblioteki a jej użytkownikami. Gdy w package.json widzisz ^1.4.2, npm może zainstalować 1.5.0, ale nigdy 2.0.0, bo zakłada, że zmiana pierwszej cyfry może zepsuć Twój kod. Wersje 0.x takiej gwarancji nie dają, a przejście llama.cpp na 1.0 oznacza właśnie, że autorzy biorą ją na siebie. Zależności i package.json ćwiczymy w kursie JavaScript i TypeScript.

Lokalny model zobaczysz w akcji dwiema komendami z README: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF pobiera mały model z Hugging Face i otwiera czat w terminalu, a llama serve uruchamia serwer z API zgodnym z OpenAI. Kod pisany pod API w chmurze przetestujesz wtedy bez klucza i opłat za tokeny. Skąd brać modele, wyjaśniamy w artykule o Hugging Face, a jeśli wolisz prostszy start, zajrzyj do opisu Ollamy.

Mały model nie zastąpi asystenta w chmurze, ale wystarczy, żeby zrozumieć, jak aplikacja rozmawia z modelem. Pracę z asystentami AI przy pisaniu kodu ćwiczymy w kursie programowania z AI. FP8, cache MoE i backendy GPU na razie możesz spokojnie pominąć, bo do nauki nie są Ci potrzebne.

Krótko: inne wiadomości dnia

  • Rust 1.100. Wydanie z 12 listopada stabilizuje typ ! (never) i API alokatorów, na przykład Vec::new_in. Cargo ostrzega teraz o nieużywanych zależnościach i potrafi pomijać świeżo opublikowane wersje paczek, na przykład z ostatnich 3 dni (global-min-publish-age). Źródło
  • Łatki bezpieczeństwa Node.js. 11 listopada wyszły wersje 22.23.5, 24.22.3 i 26.13.1, które naprawiają 16 podatności, w tym 7 o wysokiej wadze, głównie w obsłudze HTTP/2 i TLS. Jeśli masz serwer na Node.js, zaktualizuj go w ramach swojej linii LTS. Źródło
  • NestJS 12.5.0. Wersja z 12 listopada zaostrza limity domyślne: WsAdapter przyjmuje wiadomości do 1 MB (wcześniej 100 MB), a żądania multipart mogą mieć najwyżej 1000 części. Guard, interceptor albo pipe, który nie może zadziałać, zatrzymuje teraz start aplikacji, więc po aktualizacji projektu z kursu NestJS sprawdź, czy nadal się uruchamia. Źródło
  • AWS Emulator. 11 listopada AWS udostępnił bezpłatny lokalny emulator swoich API napisany w Ruście, z którym łączą się AWS CLI, SDK i agenci kodujący. Według AWS kod piszą i utrzymują agenci, a polityki IAM nie są sprawdzane jak w chmurze, więc do testów bezpieczeństwa się nie nadaje. Źródło
  • Apache HTTP Server 2.4.71. Wydanie z 11 listopada łata krytyczną lukę CVE-2026-119618 w module mod_http2, która może prowadzić do zdalnego wykonania kodu. Podatne są wersje od 2.4.55 do 2.4.70. Źródło
  • Project Zero skraca terminy. Zespół Google ogłosił 13 listopada, że ujawnia szczegóły luk 90 dni po zgłoszeniu, niezależnie od tego, czy producent wydał poprawkę. Od 2 lutego 2027 termin spadnie do 60 dni, a od 3 stycznia 2028 do 30 dni. Źródło
  • Cloudflare otwiera kod Kitesurfa. Eksperymentalny silnik przeglądarki dla agentów AI działa na Cloudflare Workers, rozumie protokół Chrome DevTools (można się z nim połączyć przez Puppeteer) i ma licencję Apache 2.0. Źródło

Najczęstsze pytania

Czym różni się llama.cpp od ggml?

ggml liczy na tensorach i obsługuje różny sprzęt, od CPU po CUDA, Metal i Vulkan. llama.cpp korzysta z ggml i dokłada to, czego potrzebują modele językowe: wczytywanie plików GGUF, bibliotekę libllama, czat w terminalu i serwer. Oba projekty rozwija ggml-org i od wersji 1.0 mają te same zasady wersjonowania.

Czy po aktualizacji do llama.cpp 1.0 mój kod przestanie działać?

Kod w C lub C++, który woła funkcje z llama.h, może wymagać poprawek, bo wydanie usuwa 35 przestarzałych funkcji. Jeśli korzystasz z serwera przez HTTP, sprawdź przede wszystkim nowe opcje bezpieczeństwa, bo część zachowań trzeba teraz włączyć jawnie. Pełna lista zmian jest w opisie wydania na GitHubie.

Jak uruchomić model lokalnie w llama.cpp?

Zainstaluj llama.cpp z paczki (Homebrew, winget, Docker) albo skryptem z README projektu. Potem llama cli -hf z nazwą repozytorium na Hugging Face pobierze model i otworzy czat, a llama serve uruchomi serwer zgodny z API OpenAI.

Źródła


Artykuł przygotowany z pomocą AI na podstawie źródeł pierwotnych i sprawdzony przez redakcję CodeWorlds.