Abacus AI behauptet, einen Weg gefunden zu haben, LLMs so zu optimieren, dass sie 200 % ihrer ursprünglichen Kontext-Token-Kapazität verarbeiten können.
Haben Sie jemals bemerkt, dass Ihr KI-Chatbot mitten in einem Gespräch den Faden verliert oder einfach sagt, dass er Aufforderungen, die zu lang sind, nicht verarbeiten kann? Das liegt daran, dass jedes Modell eine Grenze in seinen Verarbeitungsfähigkeiten hat und anfängt, Probleme zu bekommen, sobald diese Grenze überschritten wird - fast so, als würde es unter einer Art digitaler Aufmerksamkeitsdefizitstörung leiden. Doch das könnte sich bald dank einer neuen Methode zur Steigerung der LLM-Fähigkeiten ändern.
Aktuelle LLMs haben begrenzte Kontextkapazitäten. Zum Beispiel nutzt ChatGPT nur 8.000 Tokens für den Kontext, während Claude 100.000 handhabt. Tokens sind die Grundbausteine von Text oder Code, die von einer LLM KI verwendet werden, um Sprache zu verarbeiten und zu generieren. Dies beschränkt, wie viel Hintergrundinformation sie beim Formulieren von Antworten nutzen können. Abacus AI hat eine Methode entwickelt, die angeblich die nutzbare Kontextlänge für Open-Source-LLMs wie Meta's Llama verdoppelt, ohne die praktische Genauigkeit des Modells zu beeinträchtigen.
Ihre Technik beinhaltet das "Skalieren" der Positionsembeddings, die Wortpositionen in Eingabetexten verfolgen. Laut ihrer Github-Seite behauptet Abacus AI, dass ihre Skalierungsmethode die Anzahl der Tokens, die ein Modell verarbeiten kann, drastisch erhöht.
Die Forscher evaluierten zwei skalierte LlaMA-Varianten bei Aufgaben wie Substring-Positionierung und Open-Book-QA. Das Scale-16-Modell behielt die Genauigkeit bei realen Beispielen bei bis zu 16.000-Wort-Kontexten bei, im Gegensatz zu nur 2.000 Wörtern im Baseline-Llama. Es zeigte sogar eine gewisse Kohärenz bei über 20.000 Wörtern, etwas, das mit reinen Feinabstimmungstechniken nicht zu erreichen war.
Die Bedeutung der Kontexterweiterung kann nicht überbewertet werden. Ein enges Kontextfenster macht das Modell genau, aber nicht wirklich nutzbar für komplexe Aufgaben, die Hintergrundwissen erfordern. Umgekehrt können LLMs mit einem erweiterten Kontext bessere Antworten verarbeiten und generieren, brauchen dafür jedoch mehr Zeit oder liefern minderwertige Ergebnisse. Die effiziente Verarbeitung längerer Kontexte könnte es LLMs ermöglichen, ganze Dokumente oder mehrere Dokumente als Hintergrund bei der Textgenerierung aufzunehmen. Dies könnte zu Ausgaben führen, die stärker wissensbasiert und konsistent über lange Gespräche hinweg sind.
Allerdings sind die Gewinne nicht perfekt proportional zu den Skalierungsfaktoren. Es ist immer noch notwendig, Feinabstimmungsstrategien zu optimieren, denn alleiniges Skalieren garantiert nicht hochwertige Ausgaben. Das Abacus-Team erforscht auch fortgeschrittene Positionskodierungsschemata aus neueren Veröffentlichungen, um die Kontextkapazität weiter auszudehnen.
Ihre Arbeit legt nahe, dass das Hochskalieren bestehender LLMs ein gangbarer Weg ist, um die nutzbare Kontextlänge zu erweitern. Dies könnte den Zugang zu Large Language Models ermöglichen, die in der Lage sind, auf einmal viel Kontext zu verarbeiten.
Abacus AI hat die Türen ihres Repositories "nur für Forschungszwecke" geöffnet und teilt den Code, der spezifisch für ihre Feinabstimmungsprojekte ist. Dies ermöglicht es, an seiner Entwicklung weiterzuarbeiten und die Feinabstimmungsmethoden praktisch auf jedes Open-Source-Large-Language-Modell anzuwenden.
Mit Anwendungen von personalisierten Chatbots bis hin zu kreativen Schreibhilfen könnten bald speichergestärkte LLMs KI-Assistenten der nächsten Generation ermöglichen, die sich mit vielfältigen Themen auskennen. Derzeit arbeiten Forscher schnell daran, technische Einschränkungen zu überwinden, um künstliche allgemeine Intelligenz zu erreichen - also generalisierte menschliche kognitive Fähigkeiten in einem KI-Modell. Vielleicht können unsere digitalen Freunde eines Tages genauso viele Tabs handhaben wie wir Menschen, aber ohne Kopfschmerzen!
