Stabilität und Fortschritt: Thinking Machines Lab stellt bahnbrechende KI-Entwicklungen vor
Die Aufmerksamkeit der Technologiebranche richtet sich derzeit auf Mira Muratis Thinking Machines Lab, das mit beeindruckenden zwei Milliarden Dollar an Seed-Finanzierung und einem erstklassigen Team ehemaliger OpenAI-Forscher neue Maßstäbe setzen will. In einem kürzlich veröffentlichten Blogbeitrag gab Muratis Forschungslabor Einblicke in sein jüngstes Projekt: die Entwicklung von KI-Modellen mit reproduzierbaren Antworten.
Der Blogbeitrag mit dem Titel „Defeating Nondeterminism in LLM Inference“ widmet sich der Frage, auf welche Weise Zufälligkeiten in den Antworten von KI-Modellen entstehen. Typischerweise variieren die Antworten von Modellen wie ChatGPT selbst bei wiederholten identischen Anfragen, was von vielen in der KI-Community bislang als gegeben hingenommen wurde. Thinking Machines Lab betrachtet diesen Umstand jedoch als eine Herausforderung, die es zu lösen gilt.
Horace He, ein Forscher am Thinking Machines Lab, identifiziert die Ursache der Zufälligkeiten in der Art und Weise, wie GPU-Kernel – die Miniprogramme auf Nvidias Computerchips – bei der Ausführungsprozess zusammenarbeiten. Durch die gezielte Kontrolle dieser Ebene könnte es möglich sein, KI-Modelle deterministischer zu gestalten.
Neben der Steigerung der Zuverlässigkeit von Antworten ist auch die Verbesserung des Reinforcement Learnings (RL) ein Ziel der Forschung. Nach He's Auffassung könnte die Erzeugung konsistenter KI-Modellreaktionen den RL-Prozess „reibungsloser“ gestalten, da weniger Rauschen in den Daten entstehen würde. Thinking Machines Lab hat seinen Investoren mitgeteilt, dass es die RL-Techniken verwenden will, um KI-Modelle auf Unternehmen zuzuschneiden.
Murati, die ehemalige Technologiechefin von OpenAI, kündigte im Juli an, dass das erste Produkt von Thinking Machines Lab in den kommenden Monaten vorgestellt werden soll. Dieses Produkt, das sich insbesondere an Forscher und Start-ups richtet, soll die Entwicklung kundenspezifischer Modelle unterstützen, auch wenn noch unklar ist, ob dabei die Forschungsergebnisse zur Reproduzierbarkeit zum Einsatz kommen.
Thinking Machines Lab hat zudem angekündigt, regelmäßig Blogbeiträge, Code und weitere Informationen zur Verfügung zu stellen, um sowohl der Öffentlichkeit als auch der eigenen Forschungskultur zugutekommen. Dieser Blogbeitrag, der erste einer neuen Reihe namens „Connectionism“, verdeutlicht das Bestreben, offen zu forschen. Ob das Labor jedoch in der Lage sein wird, die bestehenden Probleme zu lösen und seine ambitionierten Forschungsziele in marktfähige Produkte umzusetzen, bleibt abzuwarten und ist entscheidend für die Rechtfertigung der beeindruckenden Unternehmensbewertung von 12 Milliarden Dollar.
