¿Eres tú 👆? No hiciste CompSci, así que ahora eres el bufón de la corte, tratando rápidamente de ampliar el conocimiento en la __ __ que el mundo haya visto jamás. Toma un respiro. Aquí hay una publicación que vuelve a lo básico donde puedes hacer " y no sentirte juzgado. industria de más rápido movimiento una pregunta realmente tonta" Un pequeño glosario de términos de LLM para quienes aprenden : más de lo que parece... Un tipo de modelo utilizado en el aprendizaje automático, especialmente para manejar secuencias de datos como texto o audio. Es bueno para comprender el de las oraciones y puede usarse para traducir idiomas, resumir texto o generar respuestas de chatbot. Transformador contexto es como una enorme base de datos de conocimientos de idiomas que puede escribir artículos, responder preguntas o crear diálogos realistas. Modelo de lenguaje grande (LLM): Un Transformer es una técnica utilizada en IA para procesar el lenguaje. Un LLM es un gran modelo de IA para tareas lingüísticas, a menudo creado utilizando la técnica Transformer. : la parte de un sistema informático o software que permite a los usuarios interactuar con él. Piense en ello como la interfaz de un programa donde escribe su pregunta o comando y el programa responde. Interfaz : en IA, esto significa utilizar un modelo entrenado para hacer predicciones o decisiones. Por ejemplo, después de entrenar a un modelo para que reconozca gatos en imágenes, la inferencia es cuando el modelo mira una imagen nueva y decide si hay un gato en ella.🐈⬛ Inferencia : una forma de entrenar máquinas en la que se dan ejemplos del modelo con respuestas. Como mostrarle a un programa muchas imágenes de gatos y decirle "Esto es un gato" para que aprenda cómo son los gatos. Aprendizaje supervisado : entrenar una máquina sin darle las respuestas. El modelo analiza los datos e intenta encontrar patrones o grupos por sí solo. Por ejemplo, podría clasificar diferentes tipos de música en géneros sin que se le indiquen los nombres de los géneros. ( Aprendizaje no supervisado heeeyo) : enseñar a las máquinas mediante prueba y error. La máquina toma decisiones en una situación y obtiene recompensas o penalizaciones en función de si sus decisiones son buenas o malas, aprendiendo con el tiempo a tomar mejores decisiones ( Aprendizaje por refuerzo o a volverse resentida y reservada). : diseñada para funcionar un poco como un cerebro humano. Consta de muchas unidades pequeñas (como células cerebrales) que trabajan juntas para procesar información y resolver problemas. Red neuronal Creando un LLM Recopilando sus datos Comience recopilando una amplia variedad de datos de texto. Esto podría incluir libros, artículos en línea o datos de bases de datos. Cuanto más diversos sean sus datos, mejor comprenderá su LLM los diferentes aspectos del lenguaje. Kaggle tiene excelentes datos para proyectos de ciencia de datos y aprendizaje automático. Echa un vistazo al local australiano y . gran maestro de Kaggle, Jeremy Howard suele alojar conjuntos de datos publicados por investigadores y desarrolladores. Buen lugar para buscar. GitHub Vale la pena mencionar : Google Scholar para conjuntos de datos relacionados con artículos y sitios gubernamentales Preprocesamiento de datos Ahora, Este paso consiste en corregir errores, eliminar partes que no son útiles y organizarlas para que su IA pueda aprender de ellas de manera efectiva. limpia estos datos. Consideraciones ¿Cómo manejará los valores faltantes, solucionará problemas de formato y manejará datos duplicados? Elegir una arquitectura modelo La arquitectura del modelo es esencialmente el diseño o estructura del modelo, que actúa como modelo que guía cómo la IA procesa la información. La arquitectura Transformer está particularmente diseñada para manejar datos secuenciales como texto, enfocándose en comprender el contexto dentro de los datos, y nos quedaremos con eso por hoy. Entrenando el modelo Introduzca los datos preparados en su modelo de IA. Aquí es donde tu IA comienza a aprender las complejidades del lenguaje. La capacitación puede consumir mucho tiempo y recursos, especialmente si se trata de una gran cantidad de datos. (Aquí es donde me gustaría mencionar a mis amigos de , el podcast estará disponible próximamente) Unsloth Pruebas y refinamiento Después de la capacitación, evalúe qué tan bien su IA comprende y genera el lenguaje. Dependiendo de los resultados, es posible que deba realizar ajustes y volver a entrenar para mejorar su rendimiento. Ejecutando el LLM Ahora bien, ¿cómo se maneja a la bestia? En lugar de crear un LLM desde cero, puede utilizar para acceder a modelos ya entrenados con cantidades increíbles de datos. Puede ejecutar estos modelos en su servicio en la nube o descargarlos para ejecutarlos localmente en su máquina. Hugging Face Independientemente de su elección, la clave es tener un modelo LLM capacitado ya sea a través de Internet o directamente en su computadora. y los medios para interactuar con él, Esta es la primera parte de una serie de publicaciones destinadas a reducir la barrera de comprensión y adopción de la IA de código abierto. Escribo y produzco podcasts aquí. (aprendizaje sin supervisión Otros enlaces aquí https://linktr.ee/Unsupervisedlearning También publicado aquí
