Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
En el ámbito de la inteligencia artificial (IA), en constante evolución, los modelos lingüísticos han pasado de comprender el lenguaje a convertirse en versátiles solucionadores de problemas, impulsados principalmente por el concepto de aprendizaje en contexto.
El Algorithm of Thoughts (AoT) de Microsoft lleva esta evolución más allá, permitiendo razonar, planificar y resolver problemas matemáticos de forma similar a la humana y con un consumo eficiente de la energía.
Mediante ejemplos algorítmicos, AoT libera el potencial de los modelos lingüísticos para explorar numerosas ideas con unas pocas consultas. En este artículo, exploramos la evolución de los enfoques de aprendizaje en contexto basados en instrucciones y profundizamos en cómo AoT está transformando la IA para lograr un razonamiento similar al humano.
Si ya estás familiarizado con el aprendizaje en contexto, las instrucciones estándar y las instrucciones de cadena de pensamiento, no dudes en seguir adelante para aprender cómo AoT vincula estos enfoques.
Aprendizaje en contexto
El aprendizaje en contexto es un proceso transformador cuyo objetivo es que los modelos lingüísticos pasen de ser meros expertos lingüísticos a expertos en la resolución de problemas. Para entender mejor este concepto, imaginemos a estos modelos como estudiantes de idiomas en un entorno escolar.
Al principio, su educación consiste principalmente en sumergirse en grandes cantidades de texto para adquirir conocimientos sobre palabras y hechos.Pero luego, el aprendizaje en contexto lleva a estos alumnos al siguiente nivel, permitiéndoles adquirir destrezas especializadas. Es como enviar a estos alumnos a programas de formación especializada, como la universidad o la escuela de oficios. Durante esta fase, se centran en desarrollar habilidades específicas y llegar a ser competentes en diversas tareas como la traducción de idiomas (por ejemplo, Seamless M4T de Meta), la generación de código o la resolución de problemas complejos.
En el pasado, para especializar los modelos lingüísticos había que volver a entrenarlos con nuevos datos, en un proceso conocido como ajuste fino. Esto resultaba difícil a medida que los modelos se hacían más extensos y consumían más recursos. Para resolver estos problemas, han surgido métodos basados en estímulos. En lugar de volver a ense?ar todo el modelo, nos limitamos a darle instrucciones claras, como decirle que responda a preguntas o escriba código.
Este enfoque destaca por su excepcional control, transparencia y eficiencia en términos de datos y recursos computacionales, lo que lo convierte en una opción muy práctica para una amplia gama de aplicaciones.
Evolución del aprendizaje basado en instrucciones
En esta sección se describe brevemente la evolución del aprendizaje basado en instrucciones, desde las instrucciones estándar hasta la cadena de pensamiento (CoT) y el árbol de pensamiento (ToT).
– Estimulación estándar
En 2021, los investigadores llevaron a cabo un experimento pionero en el que se pedía a un único modelo preentrenado generativamente, T0, que destacara en 12 tareas de PNL diferentes.
Estas tareas incluían instrucciones estructuradas, como la que se utiliza para la vinculación: “Si {premisa} es cierta, ?lo es también {hipótesis}? ||| {entendido}”.
Los resultados fueron sorprendentes, ya que T0 superó a los modelos entrenados únicamente para tareas individuales, e incluso sobresalió en otras nuevas. Este experimento introdujo el enfoque basado en instrucciones, también conocido como instrucciones de entrada-salida o estándar.
Se trata de una técnica sencilla en la que se presentan al modelo algunos ejemplos relacionados con la tarea antes de pedirle una respuesta. Por ejemplo, puede pedirle que resuelva ecuaciones como “2x + 3 = 11” (solución: “x = 4”).
Es eficaz para tareas sencillas, como la resolución de ecuaciones matemáticas simples o la traducción. Sin embargo, como el guiado estándar se basa en instrucciones aisladas, tiene dificultades para comprender contextos más amplios y razonamientos complejos de varios pasos, lo que lo hace ineficaz para sobresalir en problemas matemáticos complejos, razonamientos de sentido común y tareas de planificación.
Las limitaciones de las instrucciones estándar han dado lugar a las instrucciones CoT, que abordan estas limitaciones.
– Inducción de la cadena de pensamiento (CoT)
CoT es una técnica que permite a los grandes modelos lingüísticos (LLM) abordar problemas dividiéndolos en una serie de pasos intermedios que conducen a una respuesta final. Este enfoque mejora la capacidad de razonamiento del modelo al animarle a responder a problemas complejos de varios pasos de una manera que se asemeja a una cadena lógica de pensamiento.
Las instrucciones del CdT resultan especialmente valiosas para ayudar a los LLM a superar tareas de razonamiento que implican pensamiento lógico y múltiples pasos, como problemas aritméticos y preguntas relacionadas con el razonamiento de sentido común.
Por ejemplo, considere la posibilidad de utilizar las indicaciones del CdT para resolver un problema complejo de física, como calcular la distancia que recorre un coche al acelerar. Las indicaciones de CoT guían al modelo lingüístico a través de pasos lógicos, empezando por la velocidad inicial del coche, aplicando la fórmula de la distancia y simplificando los cálculos. Esto ilustra cómo las indicaciones de CoT diseccionan paso a paso los problemas complejos, ayudando al modelo a lograr un razonamiento preciso.
– Estimulación del árbol del pensamiento (TdP)
Sin embargo, en determinados escenarios, la resolución de problemas puede implicar múltiples enfoques. Los métodos convencionales paso a paso, como CoT, pueden restringir la exploración de diversas soluciones. El método Tree-of-Thought Prompting aborda este reto empleando indicaciones estructuradas como árboles de decisión, lo que permite a los modelos lingüísticos contemplar múltiples vías.
Este método permite a los modelos abordar los problemas desde varios ángulos, ampliando el abanico de posibilidades y fomentando soluciones creativas.
Retos del aprendizaje basado en instrucciones
Aunque los enfoques basados en instrucciones han reforzado indudablemente la destreza matemática y de razonamiento de los modelos lingüísticos, presentan un notable inconveniente: el aumento exponencial de la demanda de consultas y recursos informáticos.
Cada consulta dirigida a un modelo lingüístico en línea como GPT-4 supone un coste económico y contribuye a la latencia, un cuello de botella crítico para las aplicaciones en tiempo real. Estos retrasos acumulativos pueden minar la eficacia de las soluciones.
Además, las interacciones continuas pueden sobrecargar los sistemas y provocar limitaciones de ancho de banda y una menor disponibilidad del modelo. También es crucial tener en cuenta el impacto medioambiental; las consultas persistentes amplifican el consumo energético de unos centros de datos que ya de por sí consumen mucha energía, lo que agrava su huella de carbono.
Algoritmo de incitación al pensamiento
Microsoft ha asumido el reto de mejorar los métodos basados en consultas en cuanto a coste, eficiencia energética y tiempo de respuesta. Han introducido el Algorithm of Thought (AoT), un enfoque innovador que reduce la necesidad de muchas instrucciones en tareas complejas, manteniendo el rendimiento.
El AoT se diferencia de los métodos anteriores en que ordena a los modelos lingüísticos que generen un pseudocódigo específico para cada tarea, similar a instrucciones claras del tipo Python.
Este cambio hace hincapié en la utilización de los procesos de pensamiento internos del modelo en lugar de depender de entradas y salidas potencialmente poco fiables en cada paso. AoT también incorpora ejemplos en contexto inspirados en algoritmos de búsqueda como Depth First Search y Breadth First Search, que ayudan al modelo a descomponer problemas intrincados en pasos manejables y a identificar caminos prometedores a seguir.
Aunque AoT comparte similitudes con el enfoque del árbol del Pensamiento (ToT), se distingue por su notable eficiencia. ToT requiere a menudo una multitud de consultas al Modelo de Lenguaje (LLM), que a veces se cuentan por centenares para un solo problema. En cambio, AoT aborda este reto orquestando todo el proceso de pensamiento en un único contexto.
AoT destaca en tareas que se asemejan a problemas de búsqueda en árboles. En estos escenarios, el proceso de resolución de problemas implica dividir el problema principal en componentes más peque?os, idear soluciones para cada parte y determinar en qué caminos profundizar.
En lugar de utilizar consultas separadas para cada subconjunto del problema, AoT aprovecha las capacidades iterativas del modelo para abordarlos en un barrido unificado. Este enfoque integra a la perfección los conocimientos de contextos anteriores y demuestra su destreza en la gestión de problemas complejos que requieren una inmersión profunda en el espacio de soluciones.
Conclusión
El Algorithm of Thoughts (AoT) de Microsoft está transformando la IA al permitir el razonamiento, la planificación y la resolución de problemas matemáticos similares a los humanos de una manera energéticamente eficiente. AoT aprovecha los ejemplos algorítmicos para que los modelos lingüísticos exploren diversas ideas con unas pocas consultas.
Aunque se basa en la evolución del aprendizaje basado en instrucciones, AoT destaca por su eficiencia y eficacia a la hora de abordar tareas complejas. No sólo mejora las capacidades de la IA, sino que también mitiga los retos que plantean los métodos de consulta que consumen muchos recursos.
Con AoT, los modelos lingüísticos pueden sobresalir en el razonamiento en varios pasos y abordar problemas intrincados, abriendo nuevas posibilidades para las aplicaciones impulsadas por IA.
