Das kalifornische Startup PrismML hat am 14. Juli 2026 das quantisierte Open-Weight-Modell Bonsai 27B unter Apache-2.0-Lizenz veröffentlicht. Basis ist Alibabas offenes Qwen3.6-27B – durch aggressive Quantisierung schrumpft das Modell von 54 GB auf 5,9 GB und läuft damit auf gewöhnlicher Consumer-Hardware statt auf Rechenzentrums-GPUs.
Auf einen Blick
- Modell: Bonsai 27B, Basis Qwen3.6-27B (Alibaba), Lizenz Apache 2.0
- Größe: 5,9 GB statt 54 GB (FP16) – Faktor 9 kleiner
- Hardware: MacBook Pro, RTX 5070, Snapdragon-X-NPU
- Fähigkeiten: 128k Token Kontext, 29 Sprachen inkl. Deutsch, natives Tool-Use mit JSON-Schema
- Benchmarks (laut PrismML): MMLU 78,4 % (Original: 81,1 %), GSM8K 84,2 % (Original: 86,0 %)
- Bezug: HuggingFace als prismml/bonsai-27b – ohne Registrierung, API-Schlüssel oder Telemetrie
1-Bit-Gewichte statt Rechenzentrum
Der Größensprung kommt durch eine Kombination aus 1-Bit-Gewichten und ternären Rest-Layern, deren Werte nur -1, 0 oder +1 annehmen. Zum Vergleich: Das FP16-Original von Qwen3.6-27B belegt 54 GB und gehört damit in die H100-Klasse; selbst die INT8-Variante braucht mit 27 GB noch eine RTX 5090. Bonsai 27B kommt mit 5,9 GB aus – das läuft auf einem MacBook Pro, einer RTX 5070 oder der NPU eines Snapdragon-X-Notebooks. Trotz der Kompression bleiben 128k Token Kontextfenster, 29 Sprachen inklusive Deutsch und natives Tool-Use mit JSON-Schema erhalten; die kommerzielle Nutzung ist durch die Apache-2.0-Lizenz gedeckt.
Qualitätsverlust im einstelligen Prozentbereich
Die von PrismML auf Aipster veröffentlichten Benchmarks zeigen, was die Kompression kostet: Im Wissenstest MMLU erreicht Bonsai 27B 78,4 Prozent gegenüber 81,1 Prozent des Originals, im Mathematik-Benchmark GSM8K sind es 84,2 gegenüber 86,0 Prozent. Der Qualitätsverlust bleibt damit im einstelligen Prozentbereich – bei neunfach kleinerem Speicherbedarf.
Verfügbarkeit
- HuggingFace: prismml/bonsai-27b
- llama.cpp-Referenzimplementierung
- WebGPU-Browser-Demo zum direkten Ausprobieren
- keine Registrierung, kein API-Schlüssel, keine Telemetrie
Open-Weight-Markt nimmt Fahrt auf
Die Veröffentlichung fällt in eine bewegte Woche für offene Modelle: Am selben Tag kündigte Reflection AI einen Compute-Vertrag über 1 Milliarde US-Dollar mit Nebius für weitere Open-Weight-Modelle an. Auch Mistral, Meta und Alibaba haben ihre Open-Kataloge zuletzt erweitert. Der Trend zeigt in eine klare Richtung: leistungsfähige Modelle, die Unternehmen selbst betreiben können.
Was das für den Mittelstand am Niederrhein bedeutet
Für Datenschutz-sensible Betriebe ist Bonsai 27B vor allem eine On-Premise-Option: Eine 5,9-GB-Datei läuft auf einer Workstation oder einem Mini-PC im eigenen Firmennetz – sensible Dokumente verlassen das Haus nicht. Typische Anwendungsfälle sind Rechnungsklassifikation, E-Mail-Triage oder Meeting-Zusammenfassungen, also genau die Routineaufgaben, bei denen bislang oft Cloud-Kosten oder DSGVO-Freigaben im Weg standen. Wer ein KI-Projekt genau daran hat scheitern sehen, bekommt mit lokal betriebenen Modellen dieser Größenklasse eine realistische zweite Chance – die Hardware dafür steht in vielen Betrieben bereits.
Quellen
- PrismML (14.07.2026)
- Aipster (14.07.2026)
Zusammenfassung und Einordnung durch die AI First Redaktion auf Basis der genannten Quellen.