Los modelos de lenguaje extenso (LLM) como   se han convertido rápidamente en uno de los avances tecnológicos más significativos en el campo del procesamiento del lenguaje natural (NLP). GPT-3  Los LLM han demostrado un potencial significativo para ayudar en una variedad de tareas, que incluyen traducción de idiomas, resumen de texto, respuesta a preguntas, recuperación de información, motor de recomendaciones, robótica basada en lenguaje y muchas otras.   Si bien los modelos de lenguaje grande (LLM) como ChatGPT han demostrado un rendimiento excepcional en varias tareas de procesamiento de lenguaje natural, su posible uso indebido plantea   que   . Con la capacidad de generar texto coherente y contextualmente relevante, los LLM podrían usarse para producir noticias falsas o difundir información errónea, lo que podría tener graves consecuencias en la sociedad. problemas éticos deben abordarse  Tal mal uso podría conducir a la erosión de la confianza en los medios de comunicación y una percepción distorsionada de la realidad. Además, los LLM podrían utilizarse para plagio, robo de propiedad intelectual o revisiones de productos falsos durante generaciones, lo que podría engañar a los consumidores e impactar negativamente en las empresas. Además, la capacidad de los LLM para manipular contenido web con fines maliciosos, como crear cuentas de redes sociales falsas o influir en debates en línea, podría tener efectos desastrosos en la opinión pública y el discurso político.  Con la creciente preocupación, probablemente sea hora de hacer la pregunta:  ¿   los textos generados por IA de los generados por humanos? Podemos distinguir   Investigaciones pasadas y detectabilidad  Por un lado, DetectGPT de Stanford compara la probabilidad que un modelo asigna al texto escrito con la de una modificación del texto, a detectar.   Por otro lado, se proponen enfoques basados en marcas de agua desarrollados por el grupo de Tom Goldstein para aumentar efectivamente la detectabilidad.   Sin embargo, se ha demostrado que las marcas de agua (que no están bien entrenadas) son vulnerables a los ataques de paráfrasis y suplantación de identidad, según Sadasivan. et al. y Krishna et al.      Último debate en la comunidad  Últimamente, la comunidad ha tenido un acalorado debate sobre si los textos generados por IA se pueden distinguir de los generados por humanos, junto con discusiones sobre si   y tendremos un apocalipsis AGI ya que no podemos detectar la IA. contenido generado. Los líderes tecnológicos incluso pidieron una suspensión de 6 meses de la capacitación en modelos de lenguaje extenso (LLM). fallaremos en "retener la IA"  Líderes académicos como Yann Lecun y Andrew Ng están en contra de esta prohibición de la IA.  Vicepresidente y científico jefe de IA en Meta,   cita: Yann LeCun  “¿Por qué ralentizar el progreso del conocimiento?”   Posibilidad de Detección  En medio de este momento crítico, estudiamos la detectabilidad de los textos generados por IA a través de una lente de teoría de la información. Proporcionamos evidencia para el optimismo: casi siempre debería ser posible detectar a menos que las distribuciones de texto humano y de máquina sean exactamente iguales en todo el soporte.   La detectabilidad es posible  La detectabilidad se basa en una compensación precisa con información de Chernoff y más observaciones. Probamos un límite superior alcanzable de AUROC (que está entre 0 y 1, más alto significa más detectable) a través de un detector basado en la relación de probabilidad usando múltiples muestras. A medida que aumenta el número de muestra, AUROC aumenta exponencialmente a 1.    Una lente dirigida a la información  Los resultados teóricos de esta información se basan en una cantidad clave llamada información de Chernoff, que puede guiar el diseño de marcas de agua de LLM. Experimentalmente, hemos verificado que la indetectabilidad de la detección a nivel de palabra se vuelve detectable cuando se cambia a la detección a nivel de párrafo.    Resultados teóricos  Los resultados teóricos de esta información se basan en una cantidad clave llamada información de Chernoff, que puede guiar el diseño de marcas de agua de LLM. Obtuvimos límites de complejidad de muestra para guiar la posibilidad de detección de texto generado por IA.    Demostraciones empíricas  La indetectabilidad a nivel de palabra se vuelve detectable cuando se cambia a detección a nivel de párrafo en múltiples conjuntos de datos. A medida que aumentamos la duración de la detección, la precisión de detección de ZeroShot aumenta significativamente.   Al final, creemos que la forma correcta de lidiar con el mal uso de   es corregirlos en lugar de prohibirlos. los #LLM   Sin embargo, incluso cuando era joven, no me atrevía a creer que si el conocimiento presentaba peligro, la solución era la ignorancia. A mí siempre me pareció que la solución tenía que ser la sabiduría. No se negó a mirar el peligro, sino que aprendió a manejarlo de manera segura.  Isaac Asimov  Nota: Este es el primer paso y nuestro estudio exige una investigación continua para desarrollar marcos y pautas que impulsen la innovación y garanticen el uso ético de estas poderosas herramientas.   Colaboradores invitados:      , Ph.D. El estudiante de posgrado de   ,   , científico investigador de la Universidad de Maryland, Sicheng Zhu, Bang An,   y Furong Huang están investigando la detectabilidad de los textos generados por IA a través de una lente de teoría de la información. Cualquier opinión expresada en este artículo es estrictamente de los autores. Souradip Chakraborty la Universidad de Maryland Amrit Singh Bedi Dinesh Manocha  Este artículo fue publicado originalmente por Souradip Chakraborty, Ph.D. Estudiante de posgrado de la Universidad de Maryland, Amrit Singh Bedi, científico investigador de la Universidad de Maryland, Sicheng Zhu, Bang An, Dinesh Manocha y Furong Huang en  The Tech Panda.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

¿Podemos realmente detectar texto generado por IA de ChatGPT y otros LLM?

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps