OpenAI setzt auf innovative Strategien zur Überwindung von Entwicklungshemmnissen bei Orion
OpenAI, unterstützt durch Microsoft, ist dabei, neue Strategien zu entwickeln, um sein kommendes Großes Sprachmodell namens Orion zu verbessern. Laut eines Berichts von The Information sind die Fortschritte von Orion im Vergleich zu ChatGPT-4 allerdings nur marginal, was eine Herausforderung für die Forscher darstellt.
Experten, die mit der Thematik vertraut sind, berichten, dass die Entwicklungen von Orion hinter den Erwartungen zurückbleiben. Besonders im Vergleich zu früheren Versionen, wie dem bemerkenswerten Sprung von GPT-3 zu GPT-4, bleiben signifikante Fortschritte aus. Ein wesentlicher Grund hierfür ist die begrenzte Verfügbarkeit hochwertiger Trainingsdaten. Da bereits ein Großteil der verfügbaren Daten von KI-Entwicklern genutzt wurde, stellt dies ein weiteres Entwicklungshemmnis dar.
Um dieser Herausforderung zu begegnen, setzt OpenAI vermehrt auf synthetische Daten, die durch KI generiert werden. Diese sollen helfen, die Einschränkungen zu überwinden und die Modelleigenschaften weiterzuentwickeln. Darüber hinaus wird die synthetische Ausbildung durch menschliches Feedback ergänzt, indem Prüfer Modelle durch Aufgaben im Bereich Programmierung und Problemlösung testen und die Lösungen mittels iterativer Bewertungen verfeinern.
OpenAI arbeitet dabei eng mit Unternehmen wie Scale AI und Turing AI zusammen, um diese umfassende Analyse zu gewährleisten. Ion Stoica, Mitbegründer von Databricks, äußerte in dem Bericht, dass bei allgemeinen Wissensfragen derzeit eine Plateaubildung bei der Leistung großer Sprachmodelle zu beobachten sei, da synthetische Daten nur bedingt weiterhelfen können.
Weiterhin bemerkte OpenAI-CEO Sam Altman, dass auch Einschränkungen in der Rechenleistung die Verbesserung der KI-Fähigkeiten behindern. Unterdessen meldete Microsoft im jüngsten ersten Quartal des Geschäftsjahres einen Nettogewinn von 24,67 Milliarden Dollar, was einem Anstieg von 10,66 % gegenüber dem Vorjahr entspricht, sowie einen Umsatz von 65,58 Milliarden Dollar, eine Steigerung um 16 % im Jahresvergleich. Der Gewinn je Aktie stieg um 10,37 % auf 3,30 Dollar.
