Mesa de la izquierda 
 
 
 
 
 
 Abstract and Introduction 
 
 
 
 
 
 
 
 
 
 System Architecture 2.1  Access via UI or HTTP 2.1.1  GUI 2.2  Input 2.3  Natural Language Processing Pipeline — The Llettuce API 2.3.1  Vector search 2.3.2  LLM 2.3.3  Concept Matches 2.4  Output 
 
 
 
 
 
 
 
 
 Case Study: Medication Dataset 3.1  Data Description 3.2  Experimental Design 3.3  Results 3.3.1  Comparison between vector search and Usagi 3.3.2  Comparison with GPT-3 3.4  Conclusions & Acknowledgement 3.5  References Estudio de caso: conjunto de datos de medicamentos Los datos de medicamentos se obtuvieron del estudio Health for Life in Singapore (HELIOS) (aprobado por la IRB por la Universidad Tecnológica de Nanyang: IRB-2016-11-030), un estudio de cohorte de población longitudinal fenotipado que incluía a 10,004 poblaciones asiáticas multiétnicas de Singapur de 30 a 85 años (Wang et al., 2024). Los participantes del estudio HELIOS fueron reclutados de la población general de Singapur entre 2018 y 2022 y se sometieron a una extensa caracterización clínica, comportamental, molecular y genética. Con ricos datos de base y seguimiento a largo plazo a través de la vinculación con datos de salud nacionales, el estudio HELIOS proporciona un recurso único y de clase mundial para los investigadores biomédicos en una amplia gama de disciplinas para comprender la eti Para facilitar la investigación escalable y colaborativa, el estudio HELIOS implementa el OMOP-CDM. Sin embargo, mapear los datos de los medicamentos a los conceptos de OMOP plantea retos significativos, principalmente debido a las complejidades involucradas en la estandarización de los nombres de los medicamentos. En el estudio HELIOS, los datos de los medicamentos fueron autoinformados y introducidos manualmente a través de cuestionarios administrados por la enfermera, por lo que los medicamentos con nombre de marca, abreviaturas, errores tipográficos o fonéticos o medicamentos combinados podrían ser registrados. 3.1 Descripción de los datos Los primeros 400 ejemplos del conjunto de datos de medicamentos fueron seleccionados para nuestros experimentos y comparación.Para cada caso, el mejor concepto OMOP, así como un conjunto más amplio de conceptos que podrían coincidir con el nombre informal, fueron compilados por anotación humana. Por ejemplo, para “Memantine HCl”, el mejor concepto OMOP es “memantine hydrochloride”, aunque “memantine” es otra respuesta aceptable. Para un medicamento de marca, el concepto que representa el producto de marca es el concepto OMOP más adecuado. Los nombres de ingredientes genéricos se pueden incluir en un conjunto más amplio de conceptos aceptables, siempre que todos los ingredientes estén listados dentro del concepto. Por ejemplo, para “cocodamol capsule”, “Acetaminophen / Codeine Oral Capsule [Co-codamol]” sería la mejor combinación, pero “acetaminophen/codeine” se aceptaría como una definición más amplia. Este 297 también ilustra los desafíos con el mapeo y las posibles incertidumbres que presenta el problema. De los 400 ejemplos, 25 fueron clasificados como “No Parsable”.Estas fueron o fórmulas que contenían varios ingredientes donde la fórmula no tiene concepto en el CDM OMOP, por ejemplo “lipesco”, que contiene ácido lipoico y cuatro vitaminas y no está en el CDM OMOP; o donde el nombre no podía ser resuelto, por ejemplo “Hollister (gota)”. 3.2 Diseño experimental Las instancias de datos fueron ejecutadas a través de la búsqueda vectorial y porciones LLM del tubo y comparadas con las anotaciones humanas. Se utilizaron los 5 mejores resultados de la búsqueda vectorial. 
 
 
 
 
 
 
 Whether the input is an exact match to an OMOP concept 
 
 Whether the correct OMOP concept is in the result of the vector search 
 
 Whether the LLM provides the correct answer 
 
 If the answer was incorrect, whether it is a relevant OMOP concept Para cada ejemplo y ambos métodos, se tomaron los 5 mejores resultados y cada respuesta se clasificó por si se encontró el mapeo correcto o un mapeo relevante. 3.3 Resultados El número de resultados con al menos un concepto relevante en el top 5 fue muy similar entre los métodos (68% para ambos). sin embargo, Llettuce superó a Usagi en devolver el concepto correcto en el top 5 (44% para Usagi, 54% para Llettuce). 3.3.1 Comparison between vector search and Usagi Usagi funciona bien cuando se utiliza para encontrar conceptos donde la entrada tiene un error tipográfico. Sus deficiencias se pueden ilustrar por cómo responde a varias descripciones del spray nasal de furoato de mometasona, “nasonex”. En los ejemplos, la información de dosis, como “Nasonex (para cada nariz)” produce la salida mostrada en la Tabla 2 para los cinco primeros resultados. 3.3.2 Comparison with GPT-3 De los 336 ejemplos en los que la entrada era parsable en un concepto OMOP, y la entrada no era una coincidencia exacta con un concepto OMOP, Llettuce pudo identificar correctamente 193, o 48.25%. GPT-3 podía identificar correctamente 57,75%. Ambos proporcionaron conceptos inexactos pero coincidentes, 44 (11%) para Llettuce y 67 (16.75%) para GPT-3. Los 5 mejores vectores coinciden 329 recuperaron el concepto correcto para 21 de las 99 entradas incorrectamente respondidas por Llettuce. 232 nombres informales se podrían mapear directamente en el mejor concepto OMOP disponible (si De los conceptos restantes, 78 no tenían salida que no incluyera el concepto correcto ni produjera un concepto OMOP relevante. La tubería de Llettuce no funciona igual que GPT-3, lo que solo es absolutamente incorrecto en 38 nombres. Sin embargo, logra esta ejecución localmente en hardware de consumo, utilizando un modelo mucho más pequeño y preservando la confidencialidad. El tiempo que se tomó para ejecutar el tubo Llettuce en 400 conceptos fue de 55 minutos, 15 segundos, utilizando un CPU Intel i7 de 2.8 GHz de cuatro núcleos, 16 GB de RAM. 4.3 Conclusiones Llettuce demuestra las posibilidades de utilizar enfoques de aprendizaje profundo para mapear datos a conceptos OMOP. La combinación de la búsqueda vectorial con un modelo de lenguaje grande resulta en un rendimiento comparable con el modelo GPT-3 más grande. Esto muestra que las ventajas del procesamiento de lenguaje natural basado en red neural se pueden aprovechar para producir 344 codificaciones médicas, incluso en un entorno donde la confidencialidad es esencial. La comparación con los métodos de combinación de cadenas es también informativa. La combinación de cadenas no puede aprender la saliencia de las diferentes partes de la cadena. En el ejemplo anterior, la parte de la cadena "(para cada nariz)", ya que es más larga, se trata como más importante; el algoritmo no sabe ignorar esa parte. Por el contrario, la búsqueda vectorial de Llettuce incluye correctamente a Nasonex en casi todas sus entradas, y identifica correctamente el ingrediente activo. Debe notarse que en esta versión de Llettuce sólo se ha vectorizado el vocabulario RxNorm, donde Usagi también usó la extensión RxNorm. Este conjunto de datos es también uno en el que Usagi es relativamente bueno, ya que principalmente implica extraer una sola palabra, o corregir errores tipográficos Las optimizaciones serán posibles en versiones posteriores. Los modelos utilizados para ambos embeddings y la generación de texto son modelos de propósito general (bge-small-en-v1.5 y Llama-3.1-8B respectivamente). Los modelos especializados existentes, bien ajustados o entrenados ab initio (Gu et al., 2020) en literatura biomédica, serán probados para el rendimiento en las tareas de Llettuce. El desarrollo adicional provendrá de modelos ajustados desarrollados internamente. Nuestra implementación local de Llettuce implementará solicitudes de recopilación de datos y de registro y respuestas, junto con el mapeo final realizado. Estos datos se utilizarán para ajustar los modelos utilizados. Es importante enfatizar que esta recopilación de datos se limitará estrictamente a nuestra implementación local específica Financiación Esta investigación fue financiada por el NIHR Nottingham Biomedical Research Centre. Disponibilidad de datos Las solicitudes de acceso a los datos se pueden presentar al Comité de Acceso a los Datos de HELIOS enviando un correo electrónico a helios_science@ntu.edu.sg para obtener más detalles. Reconocimientos Los autores agradecen a las personas o instituciones que le han ayudado en la preparación del manuscrito. 3.5 Referencias Appleby, P., Masood, E., Milligan, G., Macdonald, C., Quinlan, P., & Cole, C. Carrot-cdm: Una herramienta de código abierto para transformar datos para el descubrimiento federado en la investigación de la salud [Conferencia de Ingeniería de Software de Investigación 2023, RSECON23 ; Fecha de la Conferencia: 04-09-2023 A través de 07-09-2023]. Inglés. En: En Carrot-cdm: Una herramienta de código abierto para transformar datos para el descubrimiento federado en la investigación de la salud. Conferencia de Ingeniería de Software de Investigación 2023, RSECON23 ; Fecha de la Conferencia: 04-09-2023 A través de 07-09-2023. 2023, septiembre. https://doi.org/10.5281/70zenodo.1025 Bayer, M. (2012). Sqlalchemy (A. Brown & G. Wilson, Eds.). http://aosabook.org/en/sqlalchemy.html Bengio, Y., Ducharme, R., Vincent, P., y Jauvin, C. (2003). Un modelo de lenguaje de probabilidad neural. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020, 22 de julio). Modelos de idiomas son Aprendizas de Few-Shot. arXiv: 2005.14165 [cs]. https://doi.org/10.48550/arXiv.2005.145165. Cholan, R. A., Pappas, G., Rehwoldt, G., Sills, A. K., Korte, E. D., Appleton, I. K., Scott, N. M., Rubinstein, W. S., Brenner, S. A., Merrick, R., Hadden, W. C., Campbell, K. E., & Waters, M. S. (2022). Codificación de datos de pruebas de laboratorio: Estudios de caso de la implementación nacional de los requisitos de hhs y estándares relacionados en cinco laboratorios. Journal of the American Medical Informatics Association, 29(8), 1372–1380. https://doi.org/10.1093/jamia/ocac072 Cox, S., Masood, E., Panagi, V., Macdonald, C., Milligan, G., Horban, S., Santos, R., Hall, C., Lea, D., Tarr, S., Mumtaz, S., Akashili, E., Rae, A., Cole, C., Sheikh, A., Jefferson, E., & Quinlan, P. R. (2024). Mejora de la calidad, velocidad y transparencia de los datos de curación a la asociación de resultados médicos observacionales (OMOP) modelo de datos común utilizando la herramienta de zanahoria. JMIR Preprints. https://doi.org/10.2196/preprints.60917 Haystack: Pregunta neuronal respondiendo a escala [Acceso: 16-08-2024]. Deng, H., Zhou, Q., Zhang, Z., Zhou, T., Lin, X., Xia, Y., Fan, L., & Liu, S. (2024). El estado actual y las perspectivas de los grandes modelos de lenguaje en la aplicación y la investigación médica. Chinese Journal of Academic Radiology. https://doi.org/10.1007/s42058- 024-00164-x Dettmers, T., & Zettlemoyer, L. (2023, 27 de febrero). El caso para la precisión de 4 bits: leyes de escala de inferencia de K-bit. arXiv: 2212.09720 [cs]. https://doi.org/10.48550/arXiv.2212.09720 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019, 24 de mayo). BERT: Pre-entrenamiento de Transformadores Bidireccionales Profundos para la Comprensión del Lenguaje. arXiv: 1810.04805 [cs]. https://doi.org/10.48550/arXiv.1810.04805 Dubey, A., Jauhri, A., Pandey, A., Kadian, A., Al-Dahle, A., Letman, A., Mathur, A., Schelten, A., Yang, A., Fan, A., Goyal, A., Hartshorn, A., Yang, A., Mitra, A., Sravankumar, A., Korenev, A., Hinsvark, A., Rao, A., Zhang, A., . . . F., H., J., H., K., T., A., H., M.J., M., T.W.R., B., J., Y., J., D., A., W., S., E.-J., & W.K., G. (2022). Consistencia de datos en la base de datos estadística de episodios hospitalarios ingleses. BMJ Health Care Inform, 29(1), e100633. https://doi.org/10.1136/bmjhci-2022-100633 Gerganov, G., et al. (2024). Llama.cpp [Acceso: 19-08-2024]. https://github.com/ggerganov/llama.cpp Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., & Poon, H. (2020). Modelo de lenguaje específico de dominio de preparación para el procesamiento de lenguaje natural biomédico. Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., Adam, H., & Kalenichenko, D. (2017, 15 de diciembre). Cuantización y formación de redes neuronales para la eficiencia de Inferencia Integer-Aritmética-Sólo. arXiv: 1712 . 05877 [cs, stat]. https://doi.org/10.48550/arXiv.1712.05877 Kong, A., Zhao, S., Chen, H., Li, Q., Qin, Y., Sun, R., Zhou, X., Wang, E., & Dong, X. (2024, marzo). Mejor razonamiento de tiro cero con prompting de juego de rol. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2021, 12 de abril). Generación aumentada de recuperación para tareas NLP intensivas de conocimiento. arXiv: 2005. 11401 [cs]. https://doi.org/10.48550/arXiv.2005.11401 Meta-llama/llama-recipes. (2024, agosto 19). Consultado el 19 de agosto de 2024, desde https://github.com/meta-llama/llama-recipes Nazi, Z. A., & Peng, W. (2024). Grandes modelos de lenguaje en el campo de la salud y la medicina: una revisión. Informatics, 11(3), 57. https://doi.org/10.3390/informatics11030057 OHDSI. (2021). (ciencia de datos de salud observacional e informática), Documentación Usagi [Acceso: 13-08-2024]. https://ohdsi.github.io/Usagi/ OHDSI. (2024a). Atenas: Vocabularios estandarizados [Acceso: 16-08-2024]. https://athena.ohdsi.org/search-terms/start OHDSI. (2024b). Estandarización de datos [Acceso: septiembre 2024]. https://www.ohdsi.org/data-standardization/ Chatgpt: Modelo de idioma [Acceso: 2024-08-16]. https://chat.openai.com/ Qdrant/fastembed. (2024, agosto 19). Consultado el 19 de agosto de 2024, desde https://github.com/qdrant/fastembed Ramírez, S. (2024). Fastapi [Acceso: 19-08-2024]. https://fastapi.tiangolo.com Reimers, N., & Gurevych, I. (2019, 27 de agosto). Sentencia-BERT: Enlaces de sentencia utilizando Siamese BERT-Networks. arXiv: 1908. 10084 [cs]. https://doi.org/10.48550/arXiv.1908.10084 Streamlit. (2024). Streamlit: La forma más rápida de construir y compartir aplicaciones de datos [Acceso: 16-08-2024]. https://streamlit.io Wang, X., Mina, T., Sadhu, N., Jain, P. R., Ng, H. K., Low, D. Y., Tay, D., Tong, T. Y. Y., Choo, W.-L., Kerk, S. K., Low, G. L., Team, T. H. S., Lam, B. C. C., Dalan, R., Wanseicheong, G., Yew, Y. W., Leow, E.-J., Brage, S., Michelotti, G. A., . . . Chambers, J. C. (2024, 24 de mayo). The Health for Life in Singapore (HELIOS) Estudio: Delivering Precision Medicine research for Asian populations. https://doi.org/11010.1/2024.05.14.24307259 Wilkinson, M., Dumontier, M., Aalbersberg, I., et al. (2016). Los principios directivos justos para la gestión y administración de datos científicos. Datos científicos, 3, 160018. https://doi.org/10.1038/sdata.2016.18 
 
 
 
 
 
 
 
 
 
 
 
 
 Los autores: (1) James Mitchell-White, Centro de Informática de la Salud, Escuela de Medicina, La Universidad de Nottingham, Servicio de Investigación Digital, La Universidad de Nottingham, y NIHR Nottingham Centro de Investigación Biomédica; (2) Reza Omdivar, Servicio de Investigación Digital, Universidad de Nottingham, y NIHR Nottingham Centro de Investigación Biomédica; (3) Esmond Urwin, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham y NIHR Nottingham Centro de Investigación Biomédica; (4) Karthikeyan Sivakumar, Servicio de Investigación Digital, Universidad de Nottingham; (5) Ruizhe Li, NIHR Centro de Investigación Biomédica de Nottingham y Escuela de Ciencias de la Computación, Universidad de Nottingham; (6) Andy Rae, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur; (8) Theresia Mina, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur; (9) John Chambers, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur y Departamento de Epidemiología y Biostadística, Escuela de Salud Pública, Imperial College London, Reino Unido; (10) Grazziela Figueredo, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham y NIHR Centro de Investigación Biomédica de Nottingham; Philip R Quinlan, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham. Authors: (1) James Mitchell-White, Centro de Informática de la Salud, Escuela de Medicina, La Universidad de Nottingham, Servicio de Investigación Digital, La Universidad de Nottingham, y NIHR Nottingham Centro de Investigación Biomédica; (2) Reza Omdivar, Servicio de Investigación Digital, Universidad de Nottingham, y NIHR Nottingham Centro de Investigación Biomédica; (3) Esmond Urwin, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham y NIHR Nottingham Centro de Investigación Biomédica; (4) Karthikeyan Sivakumar, Servicio de Investigación Digital, Universidad de Nottingham; (5) Ruizhe Li, NIHR Centro de Investigación Biomédica de Nottingham y Escuela de Ciencias de la Computación, Universidad de Nottingham; (6) Andy Rae, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur; (8) Theresia Mina, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur; (9) John Chambers, Lee Kong Chian School of Medicine, Universidad Tecnológica de Nanyang, Singapur y Departamento de Epidemiología y Biostadística, Escuela de Salud Pública, Imperial College London, Reino Unido; (10) Grazziela Figueredo, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham y NIHR Centro de Investigación Biomédica de Nottingham; Philip R Quinlan, Centro de Informática de la Salud, Escuela de Medicina, Universidad de Nottingham. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este artículo está disponible en archivo bajo la licencia CC BY 4.0.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Natural Language Processing

undefined's blog

Este audio es producido en el idioma original de la historia!

Esta herramienta de IA convierte 400 nombres informales en código OMOP exacto

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps