Wissenschaftler präsentieren Sky-T1: Ein Meilenstein im Bereich Open-Source-KI
Im Bereich der Künstlichen Intelligenz kündigt sich ein spannender Fortschritt an: Forscher des NovaSky-Teams von der University of California, Berkeley, haben das Sky-T1-32B-Preview veröffentlicht. Dieses Modell ist ein aufschlussreicher Schritt in Richtung erschwinglicher AI-Entwicklung. Bemerkenswert ist dabei, dass es mit Kosten von unter 450 US-Dollar trainiert wurde und dennoch auf zahlreichen Benchmark-Tests mit früheren Versionen des OpenAI-Modells o1 konkurriert. Im Gegensatz zu anderen Modellen kann Sky-T1 vollständig repliziert werden, da das Team sowohl den Datensatz als auch den Trainingscode der Öffentlichkeit zur Verfügung gestellt hat.
Die Erschwinglichkeit ist ein Ausdruck der Nutzung synthetischer Datensätze und Optimierung der Trainingsmethoden, wodurch sich die Entwicklungskosten von Modellen dramatisch gesenkt haben. So wurde beispielsweise das Palmyra X 004 Modell der Firma Writer fast ausschließlich mit synthetischen Daten trainiert und kostete dennoch nur 700.000 US-Dollar.
Sky-T1 zeigt, wie sich reasoning AI-Modelle – die sich im Wesentlichen selbst auf Plausibilität prüfen – gegen typische Fallstricke der KI schützen können. Zwar benötigen solche Modelle tendenziell etwas mehr Zeit für die Problemlösung, bieten jedoch verbesserte Zuverlässigkeit in komplexen Bereichen wie Wissenschaft und Mathematik.
Interessanterweise nutzte das Team ein anderes reasoning Modell, Alibabas QwQ-32B-Preview, zur Erzeugung der Trainingsdaten von Sky-T1 und ergänzte diese durch die Nutzung von OpenAIs GPT-4o-mini zur Datenverfeinerung. Trotz beeindruckender Leistungen bei mathematischen und programmierungstechnischen Herausforderungen hat Sky-T1 noch Luft nach oben bei der Bewältigung von interdisziplinären Themenfeldern wie Physik, Biologie und Chemie.
OpenAI plant derweil die Veröffentlichung eines weiteren Modells, o3, welches noch höhere Standards setzen soll. Für NovaSky stellt Sky-T1 jedoch erst den Anfang ihrer Bestrebungen dar, Open-Source-Modelle mit fortschrittlichen Reasoning-Fähigkeiten zu entwickeln.
