{"id":32519,"date":"2024-02-21T14:04:07","date_gmt":"2024-02-21T14:04:07","guid":{"rendered":"https:\/\/www.techopedia.com\/de\/?p=32519"},"modified":"2024-02-21T14:04:07","modified_gmt":"2024-02-21T14:04:07","slug":"wie-deepminds-opro-llms-in-problemloesungstools-verwandelt","status":"publish","type":"post","link":"https:\/\/www.techopedia.com\/de\/wie-deepminds-opro-llms-in-problemloesungstools-verwandelt","title":{"rendered":"Wie DeepMinds OPRO LLMs in Probleml\u00f6sungstools verwandelt"},"content":{"rendered":"
In der j\u00fcngsten Zeit wurden gro\u00dfe Anstrengungen zur Erweiterung von Sprachmodellen zu sogenannten Large Language Models (LLMs)<\/a> unternommen.<\/p>\n Dabei werden gr\u00f6\u00dfere Modelle auf umfangreicheren Datens\u00e4tzen<\/a> mit h\u00f6herer Rechenleistung trainiert, was im Ergebnis konsistente und erwartete Verbesserungen ihrer Textgenerierungsf\u00e4higkeiten mit sich bringt.<\/p>\n Je weiter LLMs wachsen, desto mehr neue F\u00e4higkeiten kommen dazu \u2013 ein Ph\u00e4nomen, das als kontextbezogenes Lernen oder Prompt-basiertes Lernen<\/a> bekannt ist.<\/p>\n Diese neu entdeckten M\u00f6glichkeiten entwickeln sich auf nat\u00fcrliche Weise ohne spezielles Training und erm\u00f6glichen es LLMs, Aufgaben wie Rechnen, das Beantworten von Fragen und das Zusammenfassen von Texten auszuf\u00fchren, die alle durch den Kontakt mit nat\u00fcrlicher Sprache erworben wurden.<\/p><\/blockquote>\n K\u00fcrzlich hat diese Begeisterung eine neue Dimension angenommen, als Forscher von Google DeepMind<\/a> LLMs mit ihrer Prompting-Technik, bekannt als Optimization by PROmpting (OPRO)<\/a>, in leistungsstarke Optimierungswerkzeuge verwandelt haben.<\/p>\n Ein emergentes Verhalten bedeutet, dass ein System sein Verhalten bei kleinen Anpassungen drastisch ver\u00e4ndern kann, insbesondere wenn es einen bestimmten Schwellenwert erreicht.<\/p>\n Ein Paradebeispiel f\u00fcr emergentes Verhalten ist Wasser. Wenn die Temperatur sinkt, \u00e4ndert sich das Verhalten des Wassers allm\u00e4hlich.<\/p><\/blockquote>\n Es gibt jedoch einen kritischen Punkt, an dem etwas Bemerkenswertes passiert. Bei dieser bestimmten Temperatur durchl\u00e4uft das Wasser eine rasche und signifikante Umwandlung und geht vom fl\u00fcssigen Zustand in Eis \u00fcber, \u00e4hnlich dem Umlegen eines Schalters.<\/p>\n Emergentes Verhalten ist nicht auf gewisse Bereiche beschr\u00e4nkt, sondern erstreckt sich auf verschiedene Gebiete wie Physik, Biologie, Wirtschaft und Systeme.<\/p>\n Im Zusammenhang mit LLMs bedeutet dies jedoch, dass sie nach einer bestimmten Phase ihres Trainings in einen neuen Modus \u00fcberzugehen scheinen, in dem sie komplexe Probleme ohne explizites Training effektiv angehen k\u00f6nnen.<\/p><\/blockquote>\n Dieses bemerkenswerte Verhalten wird in der Regel durch Prompts, d. h. Anweisungen in nat\u00fcrlicher Sprache, die LLMs zur Verf\u00fcgung gestellt werden, eingeleitet und gesteuert.<\/p>\n Da die Qualit\u00e4t der LLM-Antworten eng mit der Qualit\u00e4t des Prompts verbunden ist, hat sich die Erstellung effektiver Prompts zu einem zentralen Element des LLM-Einsatzes entwickelt.<\/p>\n So bietet z. B. die Chain-of-Thought-Technik die M\u00f6glichkeit, komplexe Probleme in Teilaufgaben zu zerlegen und diese miteinander zur L\u00f6sungsfindung zu verkn\u00fcpfen, so wie es bei mathematischen und logischen Prozessen der Fall ist.<\/p><\/blockquote>\n Dieses Verhalten wird dadurch erreicht, dass sowohl die Zwischenschritte des Denkens als auch die endg\u00fcltige L\u00f6sung als Prompt zur Verf\u00fcgung gestellt werden, um LLMs zur Bew\u00e4ltigung dieser Aufgaben anzuleiten.<\/p>\n Damit das LLM logische Aufgaben l\u00f6sen kann, wie z. B. \u201eIch gehe wandern und muss Wasser einpacken. Wie viele Wasserflaschen soll ich f\u00fcr eine 10-Meilen-Wanderung mitnehmen?\u201c, k\u00f6nnte man dem Modell sagen: \u201eEin allgemeiner Richtwert ist, dass man etwa 0,5\u20131 Liter (17\u201334 oz) Wasser pro Stunde Wanderung trinken sollte. F\u00fcr eine 10-Meilen-Wanderung ben\u00f6tigt man mindestens 1 bis 2 Flaschen, so dass zwei Flaschen mit je 16 oz ausreichend sein sollten.\u201c<\/p>\nKontext- oder Prompt-basiertes Lernen: emergentes Verhalten von LLMs<\/span><\/h2>\n
Entwicklung von LLMs zu leistungsf\u00e4higen Optimierern<\/span><\/h2>\n