Leistungsfähige KI lokal hosten
Wer leistungsfähige Künstliche Intelligenz (KI) nutzen möchte, greift heute häufig auf Cloud-Dienste zurück. Die eigentliche Berechnung findet dabei auf den Servern des jeweiligen Anbieters statt. Das ist komfortabel und ermöglicht den Zugriff auf leistungsfähige Modelle. Gleichzeitig können dabei Daten die eigene IT-Infrastruktur verlassen.
Eine Alternative sind lokal betriebene KI-Modelle. Sie laufen auf eigener Hardware und ermöglichen es, Daten innerhalb der eigenen Infrastruktur zu verarbeiten. Bislang ging damit jedoch häufig ein Kompromiss einher: Besonders leistungsfähige Modelle benötigen viel Speicher und entsprechend leistungsfähige Hardware.
Aktuelle Entwicklungen zeigen, dass sich diese Grenze verschiebt. Ein Beispiel dafür ist Bonsai 2 27B. Das Modell basiert auf Qwen3.8 27B und wurde so stark komprimiert, dass es nur noch einen Bruchteil des ursprünglichen Speicherplatzes benötigt. Gleichzeitig bleibt laut veröffentlichten Benchmarks ein großer Teil der Leistungsfähigkeit erhalten.
Für Unternehmen stellt sich damit eine interessante Frage: Wie leistungsfähig kann KI inzwischen sein, wenn sie vollständig auf eigener Hardware läuft?
Was macht lokale KI für Unternehmen interessant?
Bei einem lokalen Large Language Model (LLM) findet die Verarbeitung nicht auf den Servern eines externen KI-Anbieters statt, sondern beispielsweise auf einem leistungsfähigen Arbeitsplatzrechner oder einem eigenen Server.
Das kann insbesondere für Unternehmen interessant sein, die mit internen oder sensiblen Informationen arbeiten. Dokumente und Unternehmensdaten können innerhalb der eigenen Infrastruktur verarbeitet werden. Gleichzeitig behalten Unternehmen mehr Kontrolle darüber, welche Modelle sie einsetzen und wann diese aktualisiert werden.
Weitere Vorteile können die Nutzung ohne dauerhafte Internetverbindung und eine größere Unabhängigkeit von einzelnen Cloud-Anbietern sein. Auf der anderen Seite müssen Hardware, Wartung und IT-Sicherheit selbst berücksichtigt werden.
Wie ein solches System praktisch aufgebaut werden kann, haben wir bereits in unserem Beitrag „Eigene lokale Large Language Models fürs Wissensmanagement: Ein Erfahrungsbericht und Leitfaden für KMU“ beschrieben. Dort zeigen wir unter anderem, wie lokale Sprachmodelle für das betriebliche Wissensmanagement eingesetzt werden können.
Das Problem: Leistungsfähige Modelle brauchen leistungsfähige Hardware
Eine wichtige technische Grenze beim lokalen Betrieb von KI ist der verfügbare Speicher der Grafikkarte, der sogenannte VRAM (Video Random Access Memory). Vereinfacht gesagt ist das der Speicher, den die Grafikkarte für ihre Berechnungen zur Verfügung hat. Je größer ein KI-Modell ist, desto mehr davon wird normalerweise benötigt.
Das zeigt sich am Beispiel von Qwen3.8 27B. Das Modell gehört zu einer Klasse leistungsfähiger Sprachmodelle mit rund 27 Milliarden Parametern und kann bei einzelnen Aufgaben und Benchmarks mit wesentlich größeren kommerziellen Modellen mithalten (vergleichbar Claude Opus 4.5 von Anthropic).
In voller Präzision benötigt das Modell allein für seine Gewichte rund 54 GB Speicher. Durch gängige Komprimierungsverfahren lässt sich dieser Bedarf bereits deutlich reduzieren. Eine verbreitete 4-Bit-Variante benötigt ungefähr 17 bis 19 GB und lässt sich damit beispielsweise auf einer Grafikkarte mit 24 GB VRAM betreiben.
Das ist für lokale KI bereits beachtlich. Eine Grafikkarte mit 24 GB VRAM gehört allerdings weiterhin zu den leistungsfähigeren und entsprechend teureren Varianten.
Bonsai 2 27B: Ähnliche Leistung mit deutlich weniger Speicher
Genau hier setzt Bonsai 2 27B an. Das Modell basiert ebenfalls auf Qwen3.8 27B. Die Entwickler von PrismML haben die Modellgewichte jedoch deutlich stärker komprimiert. Das Ergebnis: Während das Ausgangsmodell in voller Präzision rund 54 GB benötigt, kommt die kompakte Variante von Bonsai 2 27B auf rund 5,9 GB. Das Modell ist damit mehr als neunmal kleiner.
Interessant ist dabei vor allem, wie viel Leistungsfähigkeit erhalten bleibt. Nach den von PrismML veröffentlichten Ergebnissen erreicht Bonsai 2 27B über 14 untersuchte Benchmarks hinweg 98,2 Prozent der durchschnittlichen Benchmark-Leistung des Ausgangsmodells.
Das bedeutet allerdings nicht, dass Bonsai bei jeder Aufgabe zu 98,2 Prozent genauso gut arbeitet. Die Ergebnisse unterscheiden sich je nach Anwendungsbereich. Bei mathematischen Aufgaben und Programmierung liegt das komprimierte Modell beispielsweise sehr nah am Ausgangsmodell. Bei Wissensfragen sowie bestimmten Aufgaben zur Verarbeitung von Bildern fallen die Unterschiede größer aus.
Besonders interessant ist der geringere Hardwarebedarf: Bonsai 2 27B kann auch auf Grafikkarten mit 16 GB VRAM lokal betrieben werden. Damit wird ein Modell dieser Größenordnung auf Hardware nutzbar, die für kleinere Unternehmen eher erreichbar ist.
Für Unternehmen zeigt das einen wichtigen Trend: Leistungsfähige KI wird nicht nur besser, sondern zunehmend auch effizienter.
Was bedeutet diese Entwicklung für KMU?
Bonsai 2 27B ist weniger wegen des einzelnen Modells interessant. Spannender ist die Entwicklung, die sich daran beobachten lässt. Wenn leistungsfähige Modelle mit weniger Hardware auskommen, sinkt eine wesentliche Einstiegshürde für lokale KI.
Ein möglicher Anwendungsbereich ist das interne Wissensmanagement. Beschäftigte könnten beispielsweise Fragen zu Handbüchern, Prozessbeschreibungen oder internen Richtlinien stellen, während die zugrunde liegenden Dokumente innerhalb der eigenen Infrastruktur verarbeitet werden.
Auch lokale Programmierassistenten können interessanter werden. Gerade bei Bonsai 2 27B fallen die veröffentlichten Ergebnisse im Bereich Coding vergleichsweise stark aus. Unternehmen könnten Quellcode lokal verarbeiten, statt ihn für jede Anfrage an einen externen KI-Dienst zu übertragen. Hinzu kommt die Möglichkeit, unabhängiger von externen Cloud-Diensten zu werden.
Das bedeutet jedoch nicht, dass lokale KI automatisch die bessere Lösung ist.
Lokal bedeutet nicht automatisch besser
Beim lokalen Betrieb übernimmt das Unternehmen mehr Verantwortung. Hardware muss angeschafft und betrieben, Modelle müssen eingerichtet und aktualisiert und Zugriffsrechte sowie IT-Sicherheit berücksichtigt werden. Sollen viele Beschäftigte gleichzeitig auf ein System zugreifen, steigen zudem die Anforderungen an die Infrastruktur.
Auch die Qualität sollte für den jeweiligen Anwendungsfall geprüft werden. Die starke Komprimierung von Bonsai 2 27B funktioniert nach den veröffentlichten Benchmarks bei einigen Aufgaben sehr gut. Bei anderen Fähigkeiten sind deutlichere Unterschiede zum Ausgangsmodell erkennbar.
Die entscheidende Frage lautet deshalb nicht „lokal oder Cloud – was ist grundsätzlich besser?“, sondern: Welche Lösung passt zu unseren Daten, unserem Anwendungsfall, unserer IT und unseren Anforderungen an Qualität und Kontrolle?
Fazit: Lokale KI wird zugänglicher
Die Entwicklung von KI findet nicht nur bei immer größeren und leistungsfähigeren Modellen statt. Gleichzeitig wird daran gearbeitet, vorhandene Fähigkeiten mit deutlich weniger Speicher und Rechenleistung nutzbar zu machen.
Bonsai 2 27B ist dafür ein aktuelles Beispiel. Ein Modell mit 27 Milliarden Parametern wird stark komprimiert und behält in den veröffentlichten Benchmarks einen großen Teil der Leistungsfähigkeit seines Ausgangsmodells. Dadurch werden Modelle dieser Größenordnung auch auf Hardware nutzbar, die für kleinere Unternehmen eher erreichbar ist.
Cloud-KI wird dadurch nicht überflüssig. Große Cloud-Modelle bieten weiterhin Vorteile bei Leistungsfähigkeit, Komfort und Skalierbarkeit. Lokale KI entwickelt sich aber zunehmend von einer technisch anspruchsvollen Nischenlösung zu einer realistischen Alternative für konkrete betriebliche Anwendungsfälle.
Wer selbst ausprobieren möchte, wie ein lokales Sprachmodell im Unternehmen aufgebaut werden kann, findet in unserem Beitrag „Eigene lokale Large Language Models fürs Wissensmanagement: Ein Erfahrungsbericht und Leitfaden für KMU“ einen ausführlichen Erfahrungsbericht und Leitfaden für KMU. Wer sich für die technischen Details, Benchmarks und die Funktionsweise von Bonsai 2 27B interessiert, findet diese im weiterführenden Beitrag von DataCamp.
Quellen und weiterführende Informationen
Zukunftszentrum KI NRW: Eigene lokale Large Language Models fürs Wissensmanagement: Ein Erfahrungsbericht und Leitfaden für KMU – Praxisleitfaden zum Aufbau und Betrieb lokaler LLM-Lösungen im Unternehmen.
Der Text wurde mit Hilfe von KI überarbeitet.
Das Titelbild ist KI generiert.
Zurück
Newsletter Anmeldung
Ansprechpartner:in
