Qwen3.8 Flash Next —
architektura Qwen 4 już dziś.
Oficjalny podgląd architektury, na której zostanie zbudowany Qwen 4 — Gated DeltaNet i Qwen Sparse Attention, 512 ekspertów. Wagi FP8 mieszczą się w dwóch DGX Spark połączonych w jedną pulę 256 GB, serwowane przez vLLM za endpointem /v1 zgodnym z OpenAI.
- 180.0B
- 6.0B aktywnych
- 262 144 ctx
- FP8 · 2× DGX Spark
- vLLM · /v1
- Twórca
- Alibaba Qwen
- Wydany
- 24 sierpnia 2026
- Parametry
- 179 999 981 459 (180.0B) łącznie · 6 mld aktywnych na token
- Licencja
- Qwen Community 1.0
- Kontekst
- 262 144 tokenów natywnie · do 1 000 000 z YaRN
- Architektura
- 48 warstw · 12 × (3 Gated DeltaNet + 1 Qwen Sparse Attention)
- Atencja
- QSA · 24 głowice query / 2 KV · wymiar głowicy 256 · indekser bloków
- Eksperci
- 512 ekspertów · 10 wybieranych + 1 wspólny na token
- Szkic
- 1 warstwa MTP · wbudowane dekodowanie spekulatywne
- Wejście
- tekst, obraz, wideo
| Wagi | Rozmiar | DGX Spark · 128 GB | H200 · 141 GB | 2× DGX Spark · 256 GB |
|---|---|---|---|---|
| BF16 | 360,00 GB | nie mieści się | nie mieści się | nie mieści się |
| FP8 | 185,52 GB | nie mieści się | nie mieści się | 1 638 4346 × sekwencji z pełnym kontekstem |
Pamięć, którą bierze vLLM (90% maszyny), minus wagi, podzielona przez 27 392 B pamięci KV w BF16 na token (K + V z 12 warstw QSA i 1 warstwy MTP × 2 głowice KV × 256 × 2 B, plus 128-wymiarowe klucze indeksera, 1 na 4 tokeny). Każda sekwencja trzyma też 115 458 048 B stałego stanu Gated DeltaNet. Jedna rozmowa z pełnym kontekstem 262 144 tokenów to jedna sekwencja. Oficjalnej wersji NVFP4 jeszcze nie ma.
- Endpoint
- /v1 zgodne z OpenAI — chat, completions, streaming.
- Silnik
- vLLM, oficjalne wagi FP8, tensor-parallel na obu Sparkach.
- Maszyna
- Dwa DGX Spark połączone w jedną pulę 256 GB.
- Najem
- Jeden klient na pulę — nikt inny nie uruchamia na niej zapytań.
- Lokalizacja
- Polska, UE — na maszynach, które sami posiadamy i utrzymujemy.
- Rozliczenie
- Za godzinę, USD + VAT. Stawka ustalona przy uruchomieniu usługi.
Uruchom architekturę Qwen 4 na własnej puli.
Napisz, jakiego obciążenia się spodziewasz i ile kontekstu potrzebujesz. Odpowiedź w ciągu jednego dnia roboczego.