GPT-OSS: Souveräne KI im eigenen Rechenzentrum – offen, effizient, ohne Cloud

Das ist die vierte Ausgabe unseres AI-Native Newsletters. In diesem Format geben wir Einblicke und teilen unsere Erfahrungen, wie wir Künstliche Intelligenz als festen Bestandteil einer AI-Native-Arbeitsweise in unseren Alltag integrieren. Viel Freude beim Lesen! 

In der vergangenen Woche hat OpenAI zwei Neuerungen vorgestellt: GPT-5 und GPT-OSS. Während die Newsfeeds sich mit GPT-5 Meldungen überschlagen, konzentriere ich mich in diesem Newsletter auf GPT-OSS: Mit diesem Modell bringt OpenAI zwei leistungsfähige Sprachmodelle heraus, die sich unabhängig von OpenAI- oder Microsoft-Azure-Cloud-Services betreiben lassen. 

Die Resonanz ist enorm: binnen weniger Stunden haben große Anbieter wie AWS mit eigenen Angeboten nachgezogen. Weitere Player, insbesondere in Europa und von europäischen Herstellern, werden folgen. Am spannendsten finde ich jedoch die Möglichkeit des On-Premises-Betriebs auf eigener Hardware – insbesondere für Kunden, die mit hochsensiblen Daten bis hin zu Verschlusssachen arbeiten.

KI, die Zuhause bleibt: On-Premise statt Cloud

KI-Lösungen sind branchenübergreifend gefragt. Gerade in Behörden, kritischen Infrastrukturen ( KRITIS) und stark regulierten Bereichen stellt sich jedoch eine zentrale Frage: Wie geht man verantwortungsvoll mit Dienstleistern – insbesondere Cloud-Anbietern – um? Datenschutz und Datenhoheit müssen sichergestellt sein. Für jeden Anbieter ist gründlich zu prüfen, ob ihm Daten anvertraut werden können – sowohl aus Sicht der IT-Sicherheit als auch im Rahmen der rechtlichen Vorgaben. Gleichzeitig besteht der Wunsch, die aktuellen Technologien zu nutzen und entsprechende KI-Lösungen bereitzustellen.

Bei US-amerikanischen Dienstleister gestalten sich die Dinge nach wie vor noch komplex: Es existiert nach wie vor keine abschließende juristische Vereinbarung zum Umgang mit Daten. Europäisches und US-amerikanisches Recht lassen sich nach wie vor nicht einfach miteinander in einen Einklang bringen. Aktuelle Aussagen von Microsoft verschärfen die Diskussion wieder. 

Am Ende bleibt: jeder unserer Kunden muss für sich eine Entscheidung zu seinen Dienstleistern treffen. Für unsere Kunden, die sich für einen eigenen Betrieb entscheiden, bietet das GPT-OSS Modell nun eine weitere, sehr gute die Möglichkeit dazu einen eigenen Betrieb ohne Cloud-Anbieter aufzubauen.

Eigenschaften von GPT-OSS: Effizient, flexibel, lokal

GPT-OSS wirkt wie ein gut trainierter, sparsamer Allrounder: Es kommt in einer großen (120b) und einer kleineren (20b) Variante, ist ungewöhnlich genügsam im Ressourcenbedarf und bleibt dabei schnell. Statt immer alles auf einmal zu bedenken, wählt es in seiner Mixture‑of‑Experts-Architektur gezielt “Spezialisten” aus, was seine Antworten effizient macht. 

Im Umgang zeigt es sich ausgewogen, kann auf Wunsch knapper oder ausführlicher “denken” (reasoning) und folgt dabei klaren Gesprächsregeln im Harmony-Format, die die Zusammenarbeit strukturierter wirken lassen. Insgesamt vermittelt GPT-OSS den Eindruck eines offenen, pragmatischen Werkzeugs, das viel Wert auf Effizienz und kontrollierte Gesprächsführung legt, auch wenn es in Wissensfragen aufgrund der Modellgröße gelegentlich halluziniert und nicht auf dem allerneuesten Stand (Juni 2024) trainiert ist.

Außerdem kann GPT-OSS bei Bedarf eigenständig im Web recherchieren und Python-Code ausführen: Es holt aktuelle Informationen aus dem Netz, verknüpft sie mit dem Gespräch und erledigt kleine Rechen- oder Analyseaufgaben direkt per Code. Das macht die Zusammenarbeit praktischer und ergebnisorientierter – trotzdem sollte man generierten Code als Entwurf betrachten und bei wichtigen Schritten prüfen.

Beim Thema Trainingsdaten ist OpenAI weiterhin zurückhaltend: Details zu den verwendeten Daten werden nicht veröffentlicht, das Modell bleibt also in dieser Hinsicht eine Blackbox.

Das unter Apache 2.0 Lizenz gestellte Modell erlaubt sowohl den lokalen Betrieb als auch individuelle Anpassungen und kommerzielle Nutzung. Durch die offene Lizenz sind unternehmensspezifisches Feintuning, eigene Sicherheitsmechanismen und branchenspezifische Erweiterungen problemlos möglich.

Installation und Betrieb von GPT-OSS: Erste Erfahrungen

Das kleinere Modell ließ sich bei mir problemlos zum Experimentieren und Entwickeln auf einem MacBook über Ollama oder LM Studio ausprobieren. Für einen ersten Eindruck reicht das vollkommen aus. Für den produktiven Einsatz bei Kunden sehe ich aktuell die Option, das große Modell auf einer Nvidia H100 oder das kleine Modell auf einer Nvidia RTX5080 zu betreiben. Andere Hardware ist möglich, jedoch verbrauchen die Modelle aufgrund ihrer bei Nvidia spezifischen genutzten Speicherstrategie MXFP4 mehr Speicher auf anderer Hardware.

Unser Fazit: KI dort, wo sie gebraucht wird 

Für die On-Premise-Nutzung ist GPT-OSS eine sehr gute Alternative neben den anderen Modellen von Mistral, DeepSeek oder Google. Das offene Modell unter der liberalen Apache-2.0-Lizenz ermöglicht den eigenständigen Betrieb mit vergleichsweise niedrigen Speicheranforderungen. Die effiziente Agenten-Architektur mit wenigen aktiven Parametern reduziert weiter den Ressourcenbedarf. Die Praxis der nächsten Monate wird zeigen, wie sich das Modell behaupten kann.

Wir bei Accso sehen die Veröffentlichung von GPT-OSS als wichtigen Impuls für die Digitalisierung im sensiblen Umfeld. Unsere Kunden mit sehr hohen Anforderungen können ein weiteres KI-Modell on-premise nutzen, ohne lange Diskussionen bei Datenschutz und Compliance. 

Gestalten Sie Ihre Zukunft mit Accso AI-Native: Für uns bedeutet das, Künstliche Intelligenz in jeden Aspekt des Software-Lebenszyklus zu integrieren. Von der ersten Konzeption bis zur kontinuierlichen Optimierung verbinden wir modernste KI-Technologien mit jahrzehntelanger Entwicklungsexpertise, um Ihre Geschäftsziele schneller, effizienter und nachhaltiger zu erreichen. Mit einem erfahrenen Team aus KI-Spezialist:innen und Softwarearchitekt:innen entwickeln wir maßgeschneiderte Lösungen, die perfekt auf Ihre Unternehmensanforderungen abgestimmt sind. 

Mehr zu AI-Native bei Accso erfahren oder direkt Kontakt aufnehmen.