Sprachmodelle mithilfe von bestärkendem Lernen zur Selbstkorrektur trainieren: Ein neuer Ansatz

Große Sprachmodelle (LLMs) wie ChatGPT und Gemini haben die Art und Weise, wie Maschinen mit Sprache interagieren, revolutioniert, indem sie Fragen beantworten und Probleme in einer Vielzahl von Bereichen lösen. Eine ihrer größten Herausforderungen bleibt jedoch die Unfähigkeit, ihre eigenen Fehler ohne externe Hilfe zuverlässig zu korrigieren. Die neue Forschung von Google DeepMind bietet eine vielversprechende Lösung: eine Methode namens Self-Correction via Reinforcement Learning (SCoRe), die es Modellen ermöglicht, Fehler selbstständig zu erkennen und zu beheben.

Warum Selbstkorrektur wichtig ist

Stellen Sie sich vor, Sie lösen eine komplexe mathematische Aufgabe oder schreiben einen Code-Block. Oft bemerken wir nach einem ersten Versuch einen Fehler und korrigieren ihn ohne externe Hilfe. Dieser Prozess, der als Selbstkorrektur bezeichnet wird, ist für das menschliche Lernen von grundlegender Bedeutung. Trotz ihrer beeindruckenden Fähigkeiten haben LLM mit dieser Aufgabe zu kämpfen. Sie verfügen zwar über das notwendige Wissen, um eine Antwort zu korrigieren, aber sie wenden es oft nicht an, wenn sie aufgefordert werden, ihre eigene Leistung zu überprüfen. Bestehende Methoden stützten sich bei der Selbstkorrektur weitgehend auf externe Hilfsmittel wie menschliche Aufsicht oder ein sekundäres Verifizierungsmodell, was die Unabhängigkeit des Sprachmodells einschränkt.

Hier kommt SCoRe ins Spiel: Eine Lösung zur Selbstkorrektur

SCoRe zielt darauf ab, diese Einschränkung zu beheben. Im Gegensatz zu früheren Methoden stützt sich SCoRe vollständig auf Daten, die vom Sprachmodell selbst generiert werden, und bietet somit eine skalierbarere und effizientere Möglichkeit, LLMs zu trainieren. Die Kernidee besteht darin, Reinforcement Learning (RL) zu verwenden – eine Technik, bei der Modelle durch Versuch und Irrtum lernen und Feedback erhalten, das auf der Qualität ihrer Handlungen basiert.

Der typische Trainingsprozess für Sprachmodelle umfasst die überwachte Feinabstimmung (SFT), bei der das Modell anhand bereits vorhandener Daten trainiert wird. SFT hat jedoch seine Nachteile, wenn es auf die Selbstkorrektur angewendet wird. Wenn das Modell beispielsweise anhand von Korrekturen trainiert wird, die sich nur geringfügig von den ursprünglichen Antworten unterscheiden, neigt es dazu, sich auf geringfügige Änderungen zu konzentrieren, anstatt echte Verbesserungen vorzunehmen. Dieser Ansatz führt bei Tests in der Praxis häufig zu Leistungsproblemen.

SCoRe überwindet diese Hürden durch die Anwendung eines mehrstufigen verstärkenden Lernansatzes. Das Modell durchläuft zwei wichtige Lernphasen. Zunächst generiert es eine Korrektur auf der Grundlage seiner eigenen Ausgabe und erhält dann eine Belohnung oder Strafe, je nachdem, wie gut diese Korrektur die ursprüngliche Antwort verbessert. Mit der Zeit lernt das Modell, signifikantere und genauere Änderungen vorzunehmen, sodass es nicht nur eine Antwort, sondern auch zukünftige Antworten verbessern kann.

Wie funktioniert SCoRe?

SCoRe arbeitet in zwei Phasen:

1. 1. Phase I: Initialisierung für Selbstkorrektur
      In der ersten Phase lernt das Modell, sich selbst zu korrigieren, ohne minimale Änderungen vorzunehmen, die zu kleinen, ineffektiven Änderungen führen könnten. Das Modell generiert Antworten, die seiner ursprünglichen Ausgabe ähneln, wird jedoch angeleitet, um zu vermeiden, dass es in das Verhalten verfällt, nur geringfügige Korrekturen vorzunehmen. Diese Phase bereitet das Modell auf ein effektiveres Lernen in der nächsten Phase vor.

1. 1. Phase II: Multi-Turn-Verstärkungslernen mit geformten Belohnungen
      In dieser Phase werden die Korrekturen des Modells weiter verfeinert. Es erhält eine geformte Belohnung – einen Bonus für signifikante Verbesserungen statt einfacher oder minimaler Änderungen. Wenn beispielsweise die erste Antwort des Modells falsch war, der Fehler aber beim zweiten Versuch behoben wird, erhält das Modell eine höhere Belohnung. Die Idee ist, einen Anreiz zu schaffen, nicht nur den ersten Versuch richtig zu machen, sondern auch Fehler sinnvoll zu korrigieren.

Warum bestärkendes Lernen?

Traditionelles überwachtes Lernen funktioniert gut, wenn es eine feste Anzahl von Problemen und Antworten gibt. Die Selbstkorrektur stellt jedoch eine dynamische Herausforderung dar: Das Modell muss nicht nur eine Antwort generieren, sondern diese auch so verbessern, dass sie das Lernen widerspiegelt. Hier kommt das verstärkende Lernen ins Spiel. Indem SCoRe dem Modell eine Reihe von Aufforderungen gibt und es belohnt, wenn es sich verbessert, ermutigt SCoRe das Modell, kritisch über seine eigene Leistung nachzudenken, und ermöglicht so eine echte Selbstkorrektur.

Die Auswirkungen von SCoRe auf Sprachmodelle

Die Ergebnisse der Implementierung von SCoRe waren beeindruckend. Bei den Modellen Gemini 1.5 Flash und Pro verbesserte SCoRe die Genauigkeit der Selbstkorrektur bei mathematischen Problemen um 15,6 % und bei Programmieraufgaben um 9,1 %. Diese Gewinne stellen eine deutliche Verbesserung gegenüber früheren Methoden dar, bei denen es oft schwierig war, eine zuverlässige Selbstkorrektur ohne externe Eingaben zu erreichen.

So konnten Modelle, die mit SCoRe trainiert wurden, bei der Lösung komplexer mathematischer Probleme falsche Antworten viel effektiver korrigieren als Modelle, die mit herkömmlichen Methoden trainiert wurden. Ebenso konnten diese Modelle bei der Generierung von Code anfängliche Fehler konsistenter korrigieren, was zu einer höheren Erfolgsquote bei Programmieraufgaben führte.

Ausblick: Breitere Anwendungen und geht immer noch nicht aber den Einstellungen Einschränkungen

Obwohl das Potenzial von SCoRe klar ist, befindet sich der Ansatz noch in einem frühen Stadium. Bisher wurde er an einer begrenzten Anzahl von Argumentationsaufgaben wie Mathematik und Programmierung getestet. Die Prinzipien hinter SCoRe könnten jedoch auf viele andere Bereiche angewendet werden, von medizinischen Diagnosen bis hin zur Erstellung juristischer Dokumente, wo die Fähigkeit zur Selbstkorrektur die Leistung und Zuverlässigkeit von LLMs erheblich verbessern könnte.

Allerdings hat SCoRe auch einige Einschränkungen. Derzeit konzentriert es sich auf die Verbesserung von Antworten über zwei Runden hinweg, d. h. das Modell kann seine Antwort nur einmal überarbeiten. Zukünftige Iterationen könnten dies erweitern, um mehrere Korrekturrunden zu ermöglichen, und so das Lernen von Menschen aus wiederholten Fehlern besser nachahmen.

Fazit: Ein Schritt in Richtung unabhängiger KI

SCoRe stellt einen aufregenden Schritt nach vorne in der Entwicklung autonomer, sich selbst verbessernder Sprachmodelle dar. Durch den Einsatz von bestärkendem Lernen, um LLMs darin zu trainieren, ihre eigenen Fehler zu korrigieren, hat DeepMind ein System geschaffen, das aus sich selbst lernen kann und den Bedarf an externen Eingaben oder Überwachung reduziert. Mit der Weiterentwicklung der Technologie können wir erwarten, dass wir vielseitigere und zuverlässigere KI-Systeme sehen werden, die immer komplexere Aufgaben bewältigen können – wodurch LLMs nicht nur schneller oder größer, sondern wirklich intelligenter werden.

Mit Fortschritten wie SCoRe kommen wir dem Tag näher, an dem KI autonom lernen, sich anpassen und ihre eigenen Fähigkeiten ohne menschliches Eingreifen perfektionieren kann. Für Forscher, Entwickler und neugierige Köpfe könnte dies eine neue Ära der KI-gestützten Innovation bedeuten.

(Jürgen Schmidt / o1)