Microsoft MAI Base 2: Bis zu 12-mal effizienter als DeepSeek

Microsoft MAI Base 2. Microsoft hat MAI Base 2 vorgestellt, ein neues KI-Modell auf Basis einer Mixture-of-Experts-Architektur (MoE) mit insgesamt 2,8 Billionen Parametern, wovon 80 Milliarden bei der Ausführung aktiv sind. Das Unternehmen betont die damit verbundenen Vorteile in Bezug auf die Recheneffizienz.

Laut der Microsoft-AI-Sparte soll das neue System eine Pre-Training-Effizienz von vier bis zwölf Mal höher aufweisen, gemessen in FLOPs (Floating Point Operations Per Second), im Vergleich zu DeepSeek V4 Pro Base. Diese Aussage positioniert Microsoft entschlossen im Wettbewerb um die Entwicklung neuer Generationen von Foundation Models.

Microsoft MAI Base 2: Warum das wichtig ist

Der Begriff „Base“ im Namen des Modells zeigt an, dass es sich um die vorab trainierte Version handelt, also die Grundstruktur, auf der später für spezifische Aufgaben optimierte Versionen aufgebaut werden. Auch der Verweis auf DeepSeek unterstreicht diesen Aspekt: Microsoft hat zwei Systeme in derselben Entwicklungsphase verglichen.

Funktion eines MoE-Modells mit 2,8 Billionen Parametern

Um die Bedeutung dieser Zahlen zu verstehen, ist es hilfreich zu erklären, wie ein Mixture-of-Experts-Modell (MoE) funktioniert. In einer traditionellen Architektur durchläuft jede verarbeitete Anfrage das gesamte neuronale Netz und bindet alle seine Parameter ein. Beim MoE-Ansatz hingegen wird das Modell in zahlreiche spezialisierte Blöcke unterteilt, sogenannte „Experten“, und für jede Operation wird nur ein Teil davon aktiviert.

Das Ergebnis ist ein System, das in Bezug auf die Gesamtgröße enorm ist, aber zu jedem Zeitpunkt nur mit einem Bruchteil seiner Ressourcen arbeitet. Im Fall von MAI Base 2 sind von insgesamt 2,8 Billionen Parametern nur 80 Milliarden aktiv, also weniger als 3 %. Diese Konfiguration ermöglicht es, eine große Gesamtkapazität beizubehalten, ohne die Rechenkosten zu tragen, die entstehen, wenn bei jedem Schritt die gesamte Struktur genutzt wird. Genau in dieser Ressourcenverwaltung liegt ein erheblicher Teil der potenziellen Effizienzgewinne.

Der Effizienzwettbewerb mit DeepSeek V4 Pro Base

Im Kern des Ankündigungs steht der direkte Vergleich mit DeepSeek. Microsoft behauptet, dass MAI Base 2 im Pre-Training vier bis zwölf Mal effizienter ist als DeepSeek V4 Pro Base und dabei FLOPs als Referenzmetrik verwendet. FLOPs stellen die Anzahl der Gleitkommaoperationen dar, die von Prozessoren ausgeführt werden, und sind ein gängiger Indikator für die Rechenleistung, die zum Training eines KI-Modells erforderlich ist.

Microsoft präzisiert, dass sich die Spanne zwischen 4x und 12x auf die Effizienz während des Pre-Trainings bezieht, also in der Anfangsphase, in der das Modell aus großen Datenmengen lernt. Es sei darauf hingewiesen, dass dies eine Behauptung des Unternehmens selbst ist, die von Microsoft AI zusammen mit dem neuen Modell präsentiert wurde. Der Vergleich mit DeepSeek V4 Pro Base betrifft ausschließlich den in dieser Vorphase eingesetzten Rechenaufwand und basiert auf Systemen in ihrer Basisversion, vor eventuellen spezifischen Optimierungen.

Microsoft hat keinen einzelnen Wert für die festgestellte Effizienz angegeben, sondern eine Variation zwischen vier- und zwölffach. Dieser Unterschied könnte von verschiedenen Faktoren abhängen, die mit der während der Tests verwendeten Hardware- und Softwarekonfiguration zusammenhängen.

Quelle und weiterführende Informationen zu Microsoft MAI Base 2: Originalartikel.

Weitere Meldungen zu Microsoft MAI Base 2 finden Sie in den aktuellen Technik-News von HWReady.

* Inhalt mit Unterstützung von KI-Systemen erstellt.