Introducción a las optimizaciones de inferencia de modelos de lenguaje grandes (LLM): 2. Introducción a los aceleradores de inteligencia artificial (IA)

Exploración de aceleradores de IA y su impacto en la implementación de modelos de lenguaje grandes (LLM) a escala.

Publicaciones de esta serie :

1. Introducción a las optimizaciones de inferencia de modelos de lenguaje grandes (LLM): 1. Antecedentes y formulación del problema

2. Introducción a las optimizaciones de inferencia de modelos de lenguaje grandes (LLM): 2. Introducción a los aceleradores de inteligencia artificial (IA) (esta publicación)

   
   

En la publicación anterior, analizamos los desafíos de la inferencia de modelos de lenguaje grandes (LLM), como la alta latencia, el consumo intensivo de recursos y los problemas de escalabilidad. Para abordar estos problemas de manera eficaz, a menudo se requiere el soporte de hardware adecuado. Esta publicación profundiza en los aceleradores de IA (hardware especializado diseñado para mejorar el rendimiento de las cargas de trabajo de IA, incluida la inferencia LLM), destacando su arquitectura, tipos clave e impacto en la implementación de LLM a escala.

¿Por qué aceleradores de IA?

Si alguna vez se preguntó cómo las empresas como OpenAI y Google logran ejecutar estos modelos de lenguaje masivos que atienden a millones de usuarios simultáneamente, el secreto está en un hardware especializado llamado aceleradores de IA. Si bien las CPU tradicionales manejan bien las tareas de propósito general, no están optimizadas para las demandas de las cargas de trabajo de IA. Los aceleradores de IA, por el contrario, están diseñados específicamente para tareas de IA y ofrecen acceso a datos de alta velocidad, capacidades de procesamiento paralelo y soporte para aritmética de baja precisión. Al trasladar la computación a los aceleradores de IA, las organizaciones pueden lograr importantes ganancias de rendimiento y reducir costos, especialmente cuando ejecutan modelos complejos como los LLM. Exploremos algunos tipos comunes de aceleradores de IA y sus ventajas únicas para estas cargas de trabajo.

Tipos de aceleradores de IA

Los aceleradores de IA vienen en varias formas, cada una diseñada para tareas y entornos de IA específicos. Los tres tipos principales son GPU, TPU y FPGA/ASIC, cada uno con características y ventajas únicas:

Unidades de procesamiento gráfico (GPU)

Las GPU, que originalmente se desarrollaron para la representación de gráficos, se han convertido en una herramienta poderosa para tareas de aprendizaje profundo debido a sus capacidades de procesamiento paralelo. Su arquitectura es adecuada para cálculos matriciales de alto rendimiento, que son esenciales para tareas como la inferencia LLM. Las GPU son particularmente populares en los centros de datos para el entrenamiento y la inferencia a escala. Las GPU como NVIDIA Tesla, AMD Radeon e Intel Xe se utilizan ampliamente tanto en entornos locales como en la nube.

Unidades de procesamiento de tensores (TPU)

Google desarrolló TPU específicamente para cargas de trabajo de aprendizaje profundo, con optimizaciones para el entrenamiento y la inferencia basados en TensorFlow. Las TPU están diseñadas para acelerar las tareas de IA a gran escala de manera eficiente, lo que potencia muchas de las aplicaciones de Google, incluidas la búsqueda y la traducción. Disponibles a través de Google Cloud, las TPU ofrecen un alto rendimiento tanto para el entrenamiento como para la inferencia, lo que las convierte en la opción preferida de los usuarios de TensorFlow.

Matrices de puertas programables en campo (FPGA) / Circuitos integrados específicos de la aplicación (ASIC)

Los FPGA y los ASIC son dos tipos distintos de aceleradores personalizables que admiten tareas de IA específicas. Los FPGA son reprogramables, lo que les permite adaptarse a diferentes modelos y aplicaciones de IA, mientras que los ASIC están diseñados específicamente para tareas específicas, lo que ofrece la máxima eficiencia para esas cargas de trabajo. Ambos tipos se utilizan en centros de datos y en el borde, donde la baja latencia y el alto rendimiento son cruciales. Algunos ejemplos incluyen Intel Arria y Xilinx Alveo (FPGA) y Edge TPU de Google (ASIC).

Diferencias clave entre las CPU y los aceleradores de IA

Las distintas arquitecturas de las CPU y los aceleradores de IA los hacen adecuados para distintos tipos de cargas de trabajo. A continuación, se muestra una comparación de algunas de las características más importantes:

• Arquitectura : si bien las CPU son procesadores de uso general, los aceleradores de IA son hardware especializado optimizado para cargas de trabajo de IA. Las CPU suelen tener menos núcleos pero velocidades de reloj altas, lo que las hace ideales para tareas que requieren un rendimiento rápido de un solo subproceso. Sin embargo, los aceleradores de IA tienen miles de núcleos optimizados para el procesamiento en paralelo y un alto rendimiento.
• Precisión y memoria : las CPU suelen utilizar aritmética de alta precisión y una gran memoria caché, lo que permite realizar tareas informáticas generales. Por el contrario, los aceleradores de IA admiten aritmética de baja precisión, como 8 o 16 bits, lo que reduce el uso de memoria y el consumo de energía sin comprometer demasiado la precisión, algo clave para la inferencia LLM.
• Eficiencia energética : diseñados para tareas de IA de alta intensidad, los aceleradores consumen significativamente menos energía por operación que las CPU, lo que contribuye al ahorro de costos y al menor impacto ambiental cuando se implementan a escala.

Referencia: Programación de procesadores masivamente paralelos por David B. Kirk y Wen-mei W. Hwu [1]

Tenga en cuenta que en la CPU hay menos núcleos (4-8) y el diseño está optimizado para una baja latencia y un alto rendimiento de un solo subproceso. Por el contrario, las GPU tienen miles de núcleos y están optimizadas para un alto rendimiento y procesamiento en paralelo. Esta capacidad de procesamiento en paralelo permite que las GPU gestionen cargas de trabajo de IA a gran escala de manera eficiente.

Características principales de los aceleradores de IA e impacto en la inferencia de LLM

Los aceleradores de IA están diseñados con varias características que los hacen ideales para manejar cargas de trabajo de IA a gran escala, como la inferencia LLM. Las características principales incluyen:

Procesamiento paralelo

Los aceleradores de IA están diseñados para el procesamiento paralelo a gran escala, gracias a su arquitectura con miles de núcleos. Este paralelismo les permite manejar los cálculos matriciales intensivos necesarios en la inferencia LLM de manera eficiente. Muchos aceleradores también incluyen núcleos tensoriales especializados, que están optimizados para operaciones tensoriales como multiplicaciones de matrices. Estas capacidades hacen que los aceleradores de IA sean significativamente más rápidos que las CPU al procesar tareas LLM a escala.

Referencia: Optimización de inferencia de modelos fundamentales en aceleradores de IA por Youngsuk Park, et al.

Memoria de gran ancho de banda

Los aceleradores cuentan con una memoria especializada que permite un gran ancho de banda, lo que les permite acceder a grandes conjuntos de datos y parámetros de modelos con una latencia mínima. Esta característica es esencial para la inferencia LLM, donde se requiere un acceso frecuente a los datos para cargar el texto de entrada y los parámetros del modelo. La memoria de gran ancho de banda reduce el cuello de botella en la recuperación de datos, lo que da como resultado una latencia menor y un rendimiento mejorado.

Ancho de banda de interconexión de alta velocidad

Los aceleradores de IA están equipados con interconexiones de alta velocidad para facilitar la transferencia rápida de datos en configuraciones de múltiples dispositivos. Esto es particularmente importante para escalar la inferencia LLM en múltiples dispositivos, donde los aceleradores necesitan comunicarse y compartir datos de manera eficiente. El alto ancho de banda de interconexión garantiza que los grandes conjuntos de datos se puedan dividir en varios dispositivos y procesar en conjunto sin causar cuellos de botella.

Aritmética de baja precisión

Otra ventaja de los aceleradores de IA es su compatibilidad con cálculos aritméticos de baja precisión, como cálculos con números enteros de 8 bits y de punto flotante de 16 bits. Esto reduce el uso de memoria y el consumo de energía, lo que hace que las tareas de IA sean más eficientes. Para la inferencia LLM, los cálculos de baja precisión proporcionan un procesamiento más rápido y, al mismo tiempo, mantienen una precisión suficiente para la mayoría de las aplicaciones. Los aceleradores de IA tienen una selección de tipos de datos muy rica.

Referencia: Optimización de inferencia de modelos fundamentales en aceleradores de IA por Youngsuk Park, et al.

Bibliotecas y marcos optimizados

La mayoría de los aceleradores de IA incluyen bibliotecas optimizadas para los marcos de IA más populares, como cuDNN para GPU NVIDIA y XLA para TPU de Google. Estas bibliotecas proporcionan API de alto nivel para realizar operaciones de IA comunes e incluyen optimizaciones específicas para LLM. El uso de estas bibliotecas permite un desarrollo de modelos, una implementación y una optimización de inferencias más rápidos.

Escalabilidad y eficiencia energética

Los aceleradores de IA son altamente escalables, lo que permite su implementación en clústeres o centros de datos para manejar grandes cargas de trabajo de manera eficiente. También están diseñados para ser energéticamente eficientes, ya que consumen menos energía que las CPU para tareas comparables, lo que los hace ideales para aplicaciones de uso intensivo de recursos computacionales como la inferencia LLM a escala. Esta eficiencia ayuda a reducir tanto el costo operativo como el impacto ambiental de ejecutar grandes modelos de IA.

Paralelismo en aceleradores de IA

Se emplean diferentes tipos de técnicas de paralelismo para maximizar la eficiencia de los aceleradores de IA para la inferencia LLM:

Paralelismo de datos

El paralelismo de datos implica dividir los datos de entrada en varios lotes y procesar cada lote en paralelo. Esto es útil para cargas de trabajo de IA que involucran grandes conjuntos de datos, como el entrenamiento y la inferencia de aprendizaje profundo. Al distribuir los datos entre varios dispositivos, los aceleradores de IA pueden procesar la carga de trabajo más rápido y mejorar el rendimiento general. Un ejemplo de paralelismo de datos en la inferencia LLM es dividir el texto de entrada en lotes y procesar cada lote en un acelerador independiente.

Paralelismo de modelos

El paralelismo de modelos implica dividir los componentes del modelo de IA en varios dispositivos, lo que permite el procesamiento en paralelo de diferentes partes del modelo. Este enfoque es particularmente crucial para los modelos de IA de gran tamaño que superan la capacidad de memoria de un solo dispositivo o requieren computación distribuida para un procesamiento eficiente. El paralelismo de modelos se utiliza ampliamente en modelos de lenguaje de gran tamaño (LLM) y otras arquitecturas de aprendizaje profundo donde el tamaño del modelo es una limitación importante.

El paralelismo de modelos se puede implementar mediante dos enfoques principales:

Paralelismo intracapa (paralelismo tensorial) : las capas o componentes individuales se dividen entre dispositivos, y cada dispositivo se encarga de una parte del cálculo dentro de la misma capa. Por ejemplo, en los modelos de transformadores, los cabezales de atención o las capas de red de avance se pueden distribuir entre varios dispositivos. Este enfoque minimiza la sobrecarga de comunicación, ya que los dispositivos solo necesitan sincronizarse en los límites de las capas.

Paralelismo entre capas (paralelismo de canalización) : los grupos secuenciales de capas se distribuyen entre los dispositivos, lo que crea una canalización de computación. Cada dispositivo procesa sus capas asignadas antes de pasar los resultados al siguiente dispositivo de la canalización. Este enfoque es particularmente eficaz para redes profundas, pero introduce latencia en la canalización.

Paralelismo de tareas

El paralelismo de tareas implica dividir la carga de trabajo de IA en varias tareas y procesar cada una de ellas en paralelo. Esto resulta útil para cargas de trabajo de IA que implican varias tareas independientes, como la conducción autónoma. Al procesar las tareas en paralelo, los aceleradores de IA pueden reducir el tiempo que lleva completar tareas complejas y mejorar el rendimiento general. El paralelismo de tareas se utiliza a menudo en aceleradores de IA para tareas como la detección de objetos y el análisis de vídeo.

Consideremos un LLM con 70 mil millones de parámetros que procesa un lote de entradas de texto:

• Paralelismo de datos : el lote de entrada se divide entre varias GPU, cada una de las cuales procesa una parte de las entradas de forma independiente.
• Paralelismo tensorial : los cabezales de atención del modelo de transformador se distribuyen entre múltiples dispositivos, y cada dispositivo maneja un subconjunto de los cabezales.
• Paralelismo de canalización : las capas del modelo de transformador se dividen en grupos secuenciales, y cada grupo es procesado por un dispositivo diferente de manera canalizada.
• Paralelismo de tareas : múltiples solicitudes de inferencia independientes se procesan simultáneamente en diferentes unidades aceleradoras.

Modo de coprocesamiento en aceleradores de IA

Los aceleradores de IA suelen trabajar en conjunto con la CPU principal para descargar las tareas de computación pesadas. La CPU principal es responsable de las tareas de propósito general y los aceleradores de IA son responsables de las tareas de computación pesadas. Esto suele denominarse coprocesamiento. Aquí hay un diagrama simple para mostrar cómo funcionan los aceleradores de IA con la CPU principal. A continuación, se incluye una breve nomenclatura para el coprocesamiento:

• Host : la CPU principal. Es responsable del flujo principal del programa. Organiza la tarea cargando los datos principales y manejando las operaciones de entrada/salida. En el modo de coprocesamiento, el host inicia el proceso, transfiere datos a los aceleradores de IA y recibe los resultados. Se encarga de toda la lógica no computacional y deja el procesamiento de números a los aceleradores de IA.
• Dispositivo : Los aceleradores de IA. Son responsables de las tareas de computación pesadas. Después de recibir datos del host, el acelerador los carga en su memoria especializada y realiza un procesamiento paralelo optimizado para cargas de trabajo de IA, como multiplicaciones de matrices. Una vez que completa el procesamiento, almacena los resultados y los transfiere de vuelta al host.

Tendencias emergentes en aceleradores de IA

A medida que las cargas de trabajo de IA siguen creciendo en complejidad y escala, los aceleradores de IA están evolucionando para satisfacer las demandas de las aplicaciones modernas. Algunas tendencias clave que configuran el futuro de los aceleradores de IA [3] incluyen:

Unidades de procesamiento inteligente (IPU)

Desarrolladas por Graphcore, las IPU están diseñadas para manejar tareas complejas de aprendizaje automático con alta eficiencia. Su arquitectura se centra en el procesamiento paralelo, lo que las hace adecuadas para cargas de trabajo de IA a gran escala.

Unidades de flujo de datos reconfigurables (RDU)

Desarrolladas por SambaNova Systems, las RDU están diseñadas para acelerar las cargas de trabajo de IA mediante la optimización dinámica del flujo de datos dentro del procesador. Este enfoque mejora el rendimiento y la eficiencia de tareas como la inferencia LLM.

Unidades de procesamiento neuronal (NPU)

Las NPU están especializadas en tareas de aprendizaje profundo y redes neuronales, y brindan un procesamiento de datos eficiente adaptado a las cargas de trabajo de IA. Cada vez se integran más en dispositivos que requieren capacidades de IA en el dispositivo.

Conclusión

En esta publicación, analizamos el papel de los aceleradores de IA en la mejora del rendimiento de las cargas de trabajo de IA, incluida la inferencia LLM. Al aprovechar las capacidades de procesamiento paralelo, la memoria de alta velocidad y la aritmética de baja precisión de los aceleradores, las organizaciones pueden lograr importantes mejoras de rendimiento y ahorros de costos al implementar LLM a gran escala. Comprender las características y los tipos clave de aceleradores de IA es esencial para optimizar la inferencia LLM y garantizar la utilización eficiente de los recursos en implementaciones de IA a gran escala. En la próxima publicación, analizaremos las técnicas de optimización del sistema para implementar LLM a gran escala mediante aceleradores de IA.

Referencias

• [1] Programación de procesadores masivamente paralelos por David B. Kirk y Wen-mei W. Hwu
• [2] Optimización de inferencia de modelos de base en aceleradores de IA por Youngsuk Park, et al.
• [3] Evaluación de aceleradores emergentes de IA/ML: IPU, RDU y GPU NVIDIA/AMD por Hongwu Peng, et al.