Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 
 
 
 Obras relacionadas preliminares Q*: Un marco de deliberación general, versátil y ágil para los LLM Experimentos Conclusión y referencias 3 Preliminares 3.1 Formulate the Multi-step Reasoning of LLMs as an MDP 3.2 A* Search A* [30] es un importante algoritmo de búsqueda heurística en la planificación deliberativa [38], la búsqueda de caminos de múltiples agentes [39] y el razonamiento de restricciones [40]. Originalmente, A* se propone para encontrar el camino más corto de la fuente s a la meta g en problemas de planificación de caminos. Se asocia cada vértice fronterizo n con un valor f(n) = g(n) + h(n), donde g(n) es el coste acumulado del camino de la fuente s y h(n) es un valor heurístico que estima el coste del camino más corto de n a la meta g. El algoritmo adopta una estrategia de búsqueda de primer nivel, es decir, en cada iteración siempre elige el vértice con el valor mínimo de f para explorar hasta llegar al objetivo. 4 Q*: Un marco de deliberación general, versátil y ágil para los LLM La mayoría de los LLMs modernos generan lenguajes naturales de una manera auto-regressiva, es decir, predicen el siguiente token en una secuencia dada por los tokens generados previamente (cf. Eq. (2)). Por lo tanto, cuando se aplica a un problema de razonamiento en múltiples pasos, los LLMs pueden potencialmente introducir errores, alucinaciones y declaraciones inconsistentes en la pista de razonamiento posterior si cualquier paso anterior es incorrecto, lo que puede no resolver el problema actual. De hecho, dado el hecho de que los LLMs producen cada token con recursos de cálculo limitados, no hay manera de dedicar más esfuerzos computacionales para resolver problemas difíciles. En resumen, los LLMs no pueden realizar una deliberación en profundidad que es esencial para resolver problemas complejos de razonamiento en múltiples pasos. 4.1 Estimation of Optimal Q-value 4.2 Deliberative Planning with A* 
 
 
 
 
 
 
 Los autores: (1) Chaojie Wang*, Skywork AI; (2) Yanchen Deng*, Universidad Tecnológica de Nanyang; (3) Zhiyi Lyu, Universidad Tecnológica de Nanyang; (4) Liang Zeng, Skywork AI; (5) Jujie He, Skywork AI. Authors: (1) Chaojie Wang*, Skywork AI; (2) Yanchen Deng*, Universidad Tecnológica de Nanyang; (3) Zhiyi Lyu, Universidad Tecnológica de Nanyang; (4) Liang Zeng, Skywork AI; (5) Jujie He, Skywork AI. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este documento es bajo la licencia CC BY 4.0. Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este audio es producido en el idioma original de la historia!

Enseñando LLMs Cómo "pensar dos veces"

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Una breve introducción a la teoría del cerebro de Boltzmann

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Una breve introducción a la teoría del cerebro de Boltzmann

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps