Twórca Redis udostępnia ds4: silnik w C do lokalnego uruchamiania modeli LLM klasy frontier
Salvatore Sanfilippo, powszechnie znany w społeczności inżynieryjnej jako antirez i twórca bazy danych Redis, udostępnił nowy projekt otwartoźródłowy o nazwie ds4 (DwarfStar 4). To kompaktowy, zoptymalizowany silnik wnioskowania napisany w języku C, którego zadaniem jest umożliwienie lokalnego uruchamiania potężnych modeli LLM na stacjach roboczych wyposażonych w dużą ilość zunifikowanej pamięci RAM lub pamięci VRAM. Projekt, opublikowany na licencji MIT w serwisie GitHub pod adresem antirez/ds4, stanowi próbę uniezależnienia zaawansowanych sesji wnioskowania oraz pracy agentów programistycznych od komercyjnych usług chmurowych.
Projekt powstał wokół konkretnej potrzeby: uruchamiania modeli o setkach miliardów parametrów na pojedynczym komputerze stacjonarnym. Zamiast budować uniwersalną warstwę abstrakcji, Sanfilippo postawił na wąską, rygorystyczną optymalizację kodu pod wybrane rodziny wag o architekturze Mixture-of-Experts (MoE).
Świadoma redukcja zakresu: dlaczego ds4 nie jest kolejnym runnerem GGUF
W odróżnieniu od szeroko stosowanych bibliotek ogólnego przeznaczenia, takich jak llama.cpp, ds4 został zaprojektowany wedle zasady narrow on purpose (świadomie zawężony zakres). Silnik nie ma ambicji uruchamiania dowolnego pliku w formacie GGUF pobranego z sieci. Obsługuje ściśle zdefiniowaną listę architektur, dla których cały proces przetwarzania został zweryfikowany pod kątem zgodności z oficjalnymi wynikami referencyjnymi.
Na liście oficjalnie wspieranych modeli znalazły się:
- DeepSeek V4 oraz DeepSeek V4.1 Flash (modele routed-MoE liczące 284 miliardy parametrów),
- GLM 5.x (w tym wariant GLM 5.3 Q2),
- Qwen3.8 Flash Next (w tym konfiguracja Qwen Q4).
Silnik integruje obsługę modeli tekstowych oraz multimodalnych z wejściem obrazu (vision input). Podejście to pozwala uniknąć kompromisów wydajnościowych wynikających z obsługi wielu egzotycznych wariantów sieci neuronowych na rzecz maksymalnej optymalizacji tych architektur, które reprezentują współczesny stan wiedzy technicznej w domenie otwartych wag.
Asymetryczna kwantyzacja 2-bitowa i pamięć podręczna na dysku SSD
Kluczowym wyzwaniem przy lokalnym uruchamianiu modelu liczącego 284 miliardy parametrów, takiego jak DeepSeek V4 Flash, jest zapotrzebowanie na pamięć. W tradycyjnym podejściu wagi tej wielkości wymagają infrastruktury serwerowej lub klastrów złożonych z wielu akceleratorów. W projekcie ds4 zastosowano technikę określaną jako asymetryczna kwantyzacja 2-bitowa (asymmetric 2-bit quantization).
Mechanizm ten kompresuje do poziomu 2 bitów rzadkich ekspertów sieci (routed experts), którzy stanowią przeważającą część masy parametrów modelu MoE, lecz są aktywowani selektywnie. Równocześnie krytyczne ścieżki obliczeniowe – w tym mechanizmy uwagi oraz eksperci współdzieleni (shared experts) – pozostają w wyższej precyzji numerycznej. W efekcie model zachowuje integralność wnioskowania, mieszcząc się w 96 GB lub 128 GB zunifikowanej pamięci RAM.
Drugim filarem architektury jest obsługa bufora kluczy i wartości (KV cache as a disk citizen). Przy oknach kontekstowych sięgających setek tysięcy tokenów alokacja bufora KV w pamięci RAM szybko doprowadziłaby do wyczerpania zasobów. Silnik ds4 zapisuje długie prefiksy kontekstu bezpośrednio na szybkich dyskach SSD i indeksuje je haszem promptu. Dzięki temu ponowne uruchomienie sesji lub kontynuacja przerwanej konwersacji nie wymaga ponownego, kosztownego przeliczania całego kontekstu (prefillu).
Od strony sprzętowej ds4 wspiera trzy główne ekosystemy akceleracji:
- Apple Silicon (Metal) na komputerach Mac z minimum 64 GB RAM (np. M5 Max, Mac Studio z 512 GB pamięci),
- NVIDIA (CUDA) na stacjach roboczych DGX Spark oraz standardowych maszynach z systemem Linux,
- AMD (ROCm), w tym platformy Strix Halo Framework Desktop.
Wyniki wydajności: prefill i generacja tokenów w testach porównawczych
W architekturze silnika faza wstępnego przetwarzania promptu (prefill) oraz faza generowania kolejnych tokenów (generation) zostały rozdzielone i zoptymalizowane niezależnie, co ma kluczowe znaczenie w zadaniach agentowych operujących na długich kontekstach. Twórca opublikował zestaw referencyjnych pomiarów dla układów Apple Silicon oraz platformy NVIDIA DGX Spark w wariancie kwantyzacji q2 przy dwóch skrajnych długościach kontekstu: 2 048 oraz 65 536 tokenów.
| Machine | Context | Prefill t/s | Generation t/s |
|---|---|---|---|
| M5 Max, 128 GB | q2 · 2,048 tok | 790.2 | 39.4 |
| M5 Max, 128 GB | q2 · 65,536 tok | 398.5 | 27.6 |
| DGX Spark, 128 GB | q2 · 2,048 tok | 825.8 | 18.1 |
| DGX Spark, 128 GB | q2 · 65,536 tok | 823.0 | 13.8 |
Dane: dwarfstar.sh
Zestawienie wskazuje na odmienne charakterystyki obu architektur sprzętowych. Stacja DGX Spark utrzymuje stałą, bardzo wysoką przepustowość prefillu przekraczającą 820 tokenów na sekundę niezależnie od długości kontekstu (825.8 t/s przy 2 048 tokenach oraz 823.0 t/s przy 65 536 tokenach). Z kolei układ M5 Max osiąga ponad dwukrotnie wyższą prędkość generowania kolejnych tokenów: 39.4 t/s przy krótkim oknie oraz 27.6 t/s przy kontekście liczącym 65 536 tokenów, podczas gdy DGX Spark osiąga w tych warunkach odpowiednio 18.1 t/s i 13.8 t/s. Dla kontekstu 32K tokenów na maszynie M5 Max silnik notuje stabilną generację na poziomie 34.4 t/s oraz prefill rzędu 557 t/s.
Jeden silnik, trzy interfejsy i bezpośrednia obsługa agentów programistycznych
Kod źródłowy ds4 po skompilowaniu dostarcza trzy niezależne punkty wejścia, które współdzielą ten sam stan modelu oraz bufor pamięci:
./ds4– interaktywny interfejs wiersza poleceń przeznaczony do bezpośrednich rozmów z modelem,./ds4-server– lokalny demon HTTP obsługujący punkty końcowe/v1/chat/completions(standard OpenAI) oraz/v1/messagesi/v1/responses(standard Anthropic),./ds4-agent– wbudowany agent realizujący trwałe sesje kodowania i analizy repozytoriów.
Dzięki zgodności interfejsu HTTP z powszechnymi standardami rynkowymi, lokalny serwer ds4 może natychmiast zastąpić zdalne chmury w zewnętrznych narzędziach programistycznych. Środowiska takie jak OpenCode, Claude Code, Codex czy narzędzia CLI Pi mogą łączyć się ze stacją roboczą użytkownika za pośrednictwem lokalnego adresu URL.
Uruchomienie środowiska sprowadza się do trzech kroków w powłoce systemowej:
- Pobranie repozytorium oraz dedykowanych wag modelu:
git clone https://github.com/antirez/ds4cd ds4 && ./download_model.sh ds4f-q2 - Kompilacja silnika pod dany backend sprzętowy:
make(dla platformy macOS z Metal) lubmake cuda-spark(dla środowisk Linux z CUDA) - Uruchomienie narzędzia interaktywnego lub serwera z zadanym oknem kontekstu:
./ds4./ds4-server --ctx 100000
Projekt Salvatore Sanfilippo wpisuje się w wyraźny zwrot ku autonomii obliczeniowej inżynierów oprogramowania. Zamiast polegać na zamkniętych interfejsach chmurowych podlegających limitom i opłatom abonamentowym, ds4 udowadnia, że zaawansowane modele MoE mogą działać bezpośrednio na biurku programisty z zachowaniem wysokiej responsywności.
