← Inferencja Inferencja · architektura Qwen 4

Qwen3.8 Flash Next —
architektura Qwen 4 już dziś.

Oficjalny podgląd architektury, na której zostanie zbudowany Qwen 4 — Gated DeltaNet i Qwen Sparse Attention, 512 ekspertów. Wagi FP8 mieszczą się w dwóch DGX Spark połączonych w jedną pulę 256 GB, serwowane przez vLLM za endpointem /v1 zgodnym z OpenAI.

Która maszyna wystarczy

Model z opublikowanych wag
Twórca
Alibaba Qwen
Wydany
24 sierpnia 2026
Parametry
179 999 981 459 (180.0B) łącznie · 6 mld aktywnych na token
Licencja
Qwen Community 1.0
Kontekst
262 144 tokenów natywnie · do 1 000 000 z YaRN
Architektura
48 warstw · 12 × (3 Gated DeltaNet + 1 Qwen Sparse Attention)
Atencja
QSA · 24 głowice query / 2 KV · wymiar głowicy 256 · indekser bloków
Eksperci
512 ekspertów · 10 wybieranych + 1 wspólny na token
Szkic
1 warstwa MTP · wbudowane dekodowanie spekulatywne
Wejście
tekst, obraz, wideo
Wagi na Hugging Face →
Która maszyna wystarczy wolne tokeny pamięci KV
Wagi Rozmiar DGX Spark · 128 GBH200 · 141 GB2× DGX Spark · 256 GB
BF16 360,00 GB nie mieści sięnie mieści sięnie mieści się
FP8 185,52 GB nie mieści sięnie mieści się1 638 4346 × sekwencji z pełnym kontekstem

Pamięć, którą bierze vLLM (90% maszyny), minus wagi, podzielona przez 27 392 B pamięci KV w BF16 na token (K + V z 12 warstw QSA i 1 warstwy MTP × 2 głowice KV × 256 × 2 B, plus 128-wymiarowe klucze indeksera, 1 na 4 tokeny). Każda sekwencja trzyma też 115 458 048 B stałego stanu Gated DeltaNet. Jedna rozmowa z pełnym kontekstem 262 144 tokenów to jedna sekwencja. Oficjalnej wersji NVFP4 jeszcze nie ma.

Jak jest serwowany jeden najemca na pulę
Endpoint
/v1 zgodne z OpenAI — chat, completions, streaming.
Silnik
vLLM, oficjalne wagi FP8, tensor-parallel na obu Sparkach.
Maszyna
Dwa DGX Spark połączone w jedną pulę 256 GB.
Najem
Jeden klient na pulę — nikt inny nie uruchamia na niej zapytań.
Lokalizacja
Polska, UE — na maszynach, które sami posiadamy i utrzymujemy.
Rozliczenie
Za godzinę, USD + VAT. Stawka ustalona przy uruchomieniu usługi.

Uruchom architekturę Qwen 4 na własnej puli.

Napisz, jakiego obciążenia się spodziewasz i ile kontekstu potrzebujesz. Odpowiedź w ciągu jednego dnia roboczego.

hello@robertz.co

Jeszcze nie działa

Sprawdzamy zainteresowanie.

Zbieramy informacje, czy jest zapotrzebowanie, by uruchomić tę usługę. Daj nam znać, że jej chcesz — uruchomimy ją szybciej :)

Daj znać