In bestimmten F?llen k?nnen wir Einnahmen erzielen, wenn ein Leser einen Kauf t?tigt oder ein Formular auf unseren Seiten oder auf der Website eines Partners ausfüllt. Wir halten uns an eine strenge Werbepolitik und stellen sicher, dass kommerzielle M?glichkeiten niemals unsere redaktionelle Unabh?ngigkeit beeintr?chtigen oder beeinflussen. Die erzielten Einnahmen tragen zur Finanzierung der Mission von Techopedia bei, die Nr. 1 Quelle für Glücksspielwissen zu sein.
Die Erfolgsstory von ChatGPT hat im Bereich der gro?en Sprachmodelle (engl. Large Language Models, LLMs) eine wahre Goldgrube geschaffen.
LLMs gibt es schon seit einiger Zeit, aber erst vor kurzem haben sie einen Punkt erreicht, an dem ihre Leistung durchaus wie die eines Menschen aussieht.
Die Folge ist gro?e Begeisterung für eine Vielzahl von Anwendungen wie Chatbots, die Erstellung von Inhalten und pers?nliche virtuelle Assistenten, aber auch die weit verbreitete Sorge, dass in einer zunehmend digitalisierten Welt die Grenze zwischen menschlichem Engagement und dem von Robotern verwischt wird.
N?chste Welle von LLMs
Doch obwohl ChatGPT für Aufsehen sorgte und nach jüngsten Sch?tzungen rund 180 Millionen Nutzer hat, ist es bei weitem nicht das einzige LLM.
In Technologiekreisen führt Erfolg in der Regel zu Wettbewerb, und viele Gro?konzerne sind sehr daran interessiert, KI zu einem allt?glichen und natürlichen Ph?nomen zu machen.
Hier sind also einige der vielversprechendsten L?sungen auf dem LLM-Markt.
BERT
BERT, auch bekannt als Bidirectional Encoder Representations from Transformer, ist der Sieger von Alphabet im Wettbewerb um die LLMs.
BERT soll sehr geschickt bei der Erstellung von ?Einbettungen“ sein – den mathematischen Darstellungen, mit denen Modelle die Bedeutungen von W?rtern und ihre Beziehungen zueinander erfassen und interpretieren k?nnen.
Das hei?t, es kann Text- oder Sprachdaten genau wiedergeben und ein tiefes Verst?ndnis für die semantische Bedeutung selbst l?ngerer Mitteilungen vermitteln.
Aus diesem Grund gilt BERT als ein führendes Unterstützungsmodell für die Verarbeitung natürlicher Sprache (NLP) und andere Formen des maschinellen Lernens (ML).
Für beide Techniken bedarf es KI zur Erfassung und zum Verst?ndnis riesiger Datenbest?nde, insbesondere der unstrukturierten Daten in E-Mails, Chats und sonstigen Formen der menschlichen Interaktion.
Au?erdem kann BERT Einbettungen aus Text und Zahlen z. B. in Form von Namen und Altersangaben erzeugen und Einbettungen mit verschiedenen anderen Merkmalen verknüpfen, um mehrdimensionale Dateneingaben zu erstellen, was den Trainingsprozess rationalisiert und die Flexibilit?t der Modelloperationen erh?ht.
Tongyi Qianwen
In China hat die Alibaba Group unterdessen Tongyi Qianwen (?Seeking Truth by Asking a Thousand Questions“) ver?ffentlicht, das einige Experten als die Antwort des Unternehmens auf ChatGPT bezeichnen.
Tongyi Qianwen basiert auf dem früheren Tongyi-Framework für vortrainierte KI und wird in eine Vielzahl von Alibaba-Gesch?ftsanwendungen integriert, darunter das Arbeitsplatz-Kommunikationstool DingTalk und der pers?nliche Assistent TGenie, sowie in diverse Consumer-Apps wie E-Commerce und Entertainment.
Eine Beta-API steht auch Entwicklern zur Verfügung, die ma?geschneiderte Apps für eine breite Palette von privaten und beruflichen Anwendungsf?llen erstellen k?nnen.
Einer der faszinierendsten Aspekte von Tongyi Qianwen ist sein Potenzial für multimodale Funktionen, die eine fortschrittliche Bildinterpretation, Text-zu-Bild- und sogar Text-zu-Video-Konvertierung erm?glichen sollen.
Nach Angaben von Unternehmenssprechern von Alibaba soll dies zusammen mit der Hyperscale-Cloud-Infrastruktur des Konzerns eine neue ?ra der KI-Entwicklung einl?uten.
NeMo-LLM
Was die schiere Leistung angeht, scheint die NeMo-Plattform von Nvidia jedoch der Platzhirsch zu sein.
Mit der F?higkeit, bis zu 500 Milliarden anpassbare Parameter w?hrend des Trainingsprozesses zu verwalten, verfügt sie über eine enorme Kapazit?t zur Erstellung pr?ziser Vorhersagen oder zur korrekten Produktion der gewünschten Ausgabe mit minimalem Prompting.?
Dadurch sollten die Benutzer ihre Modelle so steuern k?nnen, dass sie Aufgaben von der Textzusammenfassung und Paraphrasierung bis hin zum vollst?ndigen Erz?hlen von Geschichten mit minimalen Kenntnissen des Modelltrainings oder der Computertechnologie im Allgemeinen erfüllen.
Mit der Erh?hung der Parameterkapazit?t in den Multi-Billionen-Bereich will Nvidia das NeMO-Framework bereits auf die n?chste Stufe heben.
Das System kann schnell und effizient nach optimalen Trainings- und Inferenzparametern über mehrere verteilte GTP-Cluster hinweg suchen, indem es Tools wie automatisierte verteilte Datenverarbeitung und Hyperparameter-Tools einsetzt.
Au?erdem wird es eine starke Trainingseffizienz und eine breite Anpassung durch Techniken wie Tensor-, Daten-, Pipeline- und Sequenzparallelit?t sowie selektive aktive Neuberechnungen zur Verringerung des Speicherverbrauchs unterstützen.
LLaMA
Bei der Entwicklung von LLM-Modellen ist gr??er jedoch nicht immer besser, vor allem, wenn man nicht über die Ressourcen für Hyperscale-Architekturen verfügt. Meta hat eine kleinere L?sung namens LLaMA (Large Language Model Meta AI) eingeführt, die maximal 65 Milliarden Parameter umfasst.?
Damit soll eine kostengünstige Entwicklungsumgebung mit geringem Umfang geschaffen werden, in der mehr Forscher ihre Ideen vor der Einführung in Produktionsumgebungen testen k?nnen.
Diese kleineren trainierten Modelle stützen sich st?rker auf Tokens – im Wesentlichen Wortteile. Diese sind leichter zu trainieren und feinabzustimmen als umfangreichere L?sungen.
So k?nnen Entwickler funktionstüchtige Modelle für bestimmte Anwendungsf?lle erstellen und dann den Code zwischen Projekten austauschen, um ihre Widerstandsf?higkeit gegenüber Verzerrungen, Toxizit?t, Halluzinationen und anderen unerwünschten Faktoren bei LLMs zu verbessern.
Derzeit stellt Meta lediglich nicht-kommerzielle Lizenzen für LLaMA aus, um der Forschergemeinschaft die M?glichkeit zu geben, Richtlinien für eine verantwortungsvolle Nutzung in allen Bereichen zu entwickeln.
Fazit
Gro?e Sprachmodelle werden in der Welt der künstlichen Intelligenz wahrscheinlich vorerst die meiste Aufmerksamkeit auf sich ziehen. Schlie?lich weisen sie die menschen?hnlichsten Eigenschaften auf, was sie am intelligentesten erscheinen l?sst.
Nun geht es darum, F?higkeiten zu entwickeln, die über das reine Schreiben und Sprechen hinausgehen, um sie für unser privates und berufliches Leben wirklich praktisch zu machen.
Das ist eine gro?e Aufgabe, wenn man bedenkt, wie viele kognitive Schritte allein für die Entscheidung, was wir anziehen oder was wir frühstücken wollen, erforderlich sind.
Aller Wahrscheinlichkeit nach werden wir nur durch die Integration von LLMs mit anderen Formen der KI, wie maschinellem Lernen, neuronalen Netzwerken und Deep Learning, einen Punkt erreichen, an dem die Technologie wahrhaft transformativ wird.
