Relay od AnchorShell: samohostowana brama LLM z inteligentnym routingiem i kontrolą tempa zapytań

Firma AnchorShell udostępniła narzędzie Relay – nową, samohostowaną bramę LLM stworzoną z myślą o programistach budujących autonomiczne agenty oraz aplikacje oparte na modelach językowych. Projekt, który zadebiutował 22 września 2026 roku na platformie Product Hunt w wersji 0.1.0, stanowi bezpośrednią odpowiedź na narastające wyzwania związane z limitami zapytań (RPM/TPM), kosztami oraz nagłymi przestojami u zewnętrznych dostawców sztucznej inteligencji. Relay instaluje się jako samodzielny plik binarny i pośredniczy między kodem aplikacji a modelami, udostępniając spójny interfejs programistyczny zgodny ze standardem API OpenAI, kolejkowanie typu queue-first, kontrolę tempa zapytań (pacing) oraz wbudowane mechanizmy ochrony danych.

Architektura jednego pliku binarnego: Go, Nuxt i zero zewnętrznych baz

Jedną z kluczowych cech architektonicznych Relay jest rezygnacja ze skomplikowanego stosu infrastrukturalnego. Narzędzie łączy backend napisany w języku Go z interfejsem użytkownika zbudowanym w frameworku Nuxt, kompilując całość do pojedynczego, natywnego pliku binarnego dla danej platformy. Rozwiązanie eliminuje konieczność konfigurowania i utrzymywania zewnętrznej bazy danych (np. PostgreSQL) czy osobnego brokera zadań i kolejek (np. Redis) – wszystkie lokalne metadane, konfiguracje i stany zapytań zapisywane są bezpośrednio w pliku relay.db z wykorzystaniem silnika SQLite.

Twórcy zadbali o ułatwienie pierwszego wdrożenia w środowisku deweloperskim. Do uruchomienia bramy wystarczy środowisko Node.js 22+ z menedżerem npm oraz wywołanie:

npx @anchorshell/relay@0.1.0 install
npx @anchorshell/relay

Podczas pierwszej inicjalizacji oprogramowanie automatycznie tworzy lokalny plik konfiguracyjny .env oraz generuje zestaw trzech kluczy bezpieczeństwa:

• RELAY_ADMIN_TOKEN: token autoryzujący dostęp administratora do panelu graficznego (nie uprawnia do wykonywania zapytań inferencyjnych),
• RELAY_API_TOKEN: token wykorzystywany przez aplikacje klienckie do przesyłania zapytań inferencyjnych,
• RELAY_MASTER_KEY: klucz szyfrujący przechowywane poświadczenia dostawców z użyciem algorytmu AES-256-GCM.

Domyślnie brama udostępnia panel administracyjny oraz interfejs API pod adresem http://localhost:11730, natomiast dane telemetryczne przesyłane są przez dedykowany kanał WebSocket ws://localhost:11730/api/ws. W przypadku samodzielnej kompilacji z kodu źródłowego (wymagającej kompilatora Go w wersji 1.26.4 lub nowszej, narzędzia Make oraz Node.js 22.19.0) panel deweloperski z funkcją hot reload dostępny jest pod adresem http://localhost:3030.

Kolejkowanie queue-first i kontrola tempa: ochrona jakości zamiast paniki

W tradycyjnych bramach pośredniczących wyczerpanie limitu zapytań (błąd HTTP 429) prowadzi zazwyczaj do natychmiastowego zgłoszenia wyjątku w aplikacji lub bezwzględnego przełączenia na model rezerwowy. W architekturach agentowych natychmiastowy fallback często oznacza degradację jakości – zapytanie wymagające zaawansowanego wnioskowania trafia nagle do znacznie słabszego modelu, generując halucynacje lub błędy logiczne.

Relay rozwiązuje ten problem poprzez architekturę „queue-first routing”. Zamiast przedwczesnego zrzucania ruchu, system buforuje zapytania i precyzyjnie reguluje tempo ich wysyłania (pacing) w oparciu o skonfigurowane limity RPM (liczby żądań na minutę) oraz budżety tokenów u poszczególnych dostawców. Jeżeli preferowany model jest chwilowo przeciążony lub wejdzie w stan schładzania (model cooldown), Relay przetrzymuje żądanie w kolejce w ramach skonfigurowanego budżetu czasu oczekiwania („wait budget”). Dopiero po wyczerpaniu tego limitu czasu brama uruchamia zdefiniowany łańcuch zastępczy (Groups).

Brama obsługuje ponad 100 dostawców chmurowych i lokalnych silników inferencji, w tym m.in. OpenAI, Anthropic, AWS Bedrock, Google Vertex AI, Groq, Together AI, Fireworks, Ollama, LM Studio czy vLLM. Wszystkie zapytania kierowane są pod ujednolicony punkt końcowy POST http://localhost:11730/v1/chat/completions.

Klasyfikacja intencji: AnchorShell Classifier oraz lokalny model Laya

Istotnym elementem inteligentnego trasowania w Relay jest mechanizm charakteryzacji zapytań. Narzędzie analizuje przychodzące prompty pod kątem domeny, intencji oraz poziomu złożoności, zanim podejmie decyzję o przekazaniu ich do konkretnego modelu.

W bezpłatnej wersji Community Edition podstawową analizę realizuje wbudowany, ultralekki komponent AnchorShell Classifier. Deweloperzy mogą jednak wdrożyć opcjonalny, lokalny proces roboczy oparty na dedykowanym modelu klasy „System One” o nazwie Laya (obok wzmiankowanego w dokumentacji modelu Jev). Worker ten uruchamiany jest w osobnym procesie w środowisku Python 3.11–3.13 z wykorzystaniem menedżera pakietów uv oraz biblioteki PyTorch:

make laya-setup
make laya-start

Model Laya serwuje analizę intencji lokalnie na maszynie dewelopera (domyślnie na procesorze CPU) pod adresem http://127.0.0.1:11731. Po zdefiniowaniu zmiennych RELAY_LAYA_URL i RELAY_LAYA_TIMEOUT (np. 2 sekundy), Relay odpytuje model Laya o klasyfikację zadań – na przykład precyzyjnie identyfikując zadania programistyczne (coding tasks). W razie niedostępności procesu Laya brama automatycznie i bez zakłóceń powraca do działania z wykorzystaniem domyślnego AnchorShell Classifier.

Bezpieczeństwo danych, ekosystem agentowy i tło rynkowe

Poza trasowaniem zapytań Relay wyposażono w zestaw filtrów bezpieczeństwa (guardrails). Moduł pre-dispatch analizuje treść promptu przed jego wysłaniem do zewnętrznego dostawcy, blokując próby przesłania poufnych informacji. Z kolei filtr post-response weryfikuje wygenerowaną odpowiedź przed jej odesłaniem do aplikacji. Brama pozwala również na nakładanie sztywnych limitów współbieżności, zapytań, tokenów oraz wydatków finansowych w oparciu o konfigurowalne cenniki modeli, a także udostępnia graficzny Playground do testowania zapytań.

Jak wynika z grafiki demonstracyjnej zamieszczonej w repozytorium projektu, Relay pomyślano jako centralny węzeł komunikacyjny dla zróżnicowanego ekosystemu autonomicznych agentów (m.in. Hermes Agent, OpenClaw, Manus, Pi, Blink Claw czy Nanobot), łączący je z dostawcami takimi jak OpenAI, Anthropic, Cerebras czy Grok.

Relay w wydaniu Community Edition udostępniany jest na zasadach licencji AnchorShell Relay Community License 1.0 (model source-available, bezpłatny dla osób prywatnych, celów niekomercyjnych i kwalifikujących się małych firm). Równolegle AnchorShell oferuje płatną platformę chmurową Hosted Relay, wzbogaconą o mechanizm Smart Groups (automatyczny wybór modeli na podstawie intencji i złożoności), routing System One Pro, logowanie OAuth, zaawansowane zarządzanie zespołami oraz budżety nakładane na pojedynczych użytkowników i klucze API.

Na rynku zdominowanym przez projekty takie jak LiteLLM (stawiający na uniwersalne biblioteki proxy) czy Portkey (koncentrujący się na infrastrukturze chmurowej i wielowarstwowym cache'owaniu), Relay wyróżnia się koncepcją zwartego, samowystarczalnego binarium i filozofią kolejkowania queue-first. Dla inżynierów budujących złożone, wieloetapowe przepływy agentowe możliwość przeczekania skoków obciążenia bez natychmiastowej utraty jakości odpowiedzi może okazać się decydującym atutem w środowisku produkcyjnym.