Tafel links 
 
 
 
 
 
 Abstract and Introduction 
 
 
 
 
 
 
 
 
 
 System Architecture 2.1  Access via UI or HTTP 2.1.1  GUI 2.2  Input 2.3  Natural Language Processing Pipeline — The Llettuce API 2.3.1  Vector search 2.3.2  LLM 2.3.3  Concept Matches 2.4  Output 
 
 
 
 
 
 
 
 
 Case Study: Medication Dataset 3.1  Data Description 3.2  Experimental Design 3.3  Results 3.3.1  Comparison between vector search and Usagi 3.3.2  Comparison with GPT-3 3.4  Conclusions & Acknowledgement 3.5  References Case Study: Medicatie Dataset Medicatie gegevens werden verkregen uit de Health for Life in Singapore (HELIOS) studie (IRB goedkeuring door Nanyang Technological University: IRB-2016-11-030), een phenotype longitudinale populatie cohort studie bestaande uit 10,004 multi-etnische Aziatische bevolking van Singapore in de leeftijd van 30-85 jaar (Wang et al., 2024). Deelnemers aan de HELIOS studie werden tussen 2018 en 2022 gerecruteerd uit de algemene Singapore bevolking en onderging uitgebreide klinische, gedrags-, moleculaire en genetische karakterisering. Met rijke basisgegevens en langdurige follow-up door middel van koppeling aan nationale gezondheidsgegevens, de HELIOS studie biedt een unieke en wereldklasse bron voor biomedische onderzoekers over een breed scala aan disciplines om de etiologie Om schaalbaar en samenwerkend onderzoek te vergemakkelijken, implementeert de HELIOS-studie de OMOP-CDM. Het in kaart brengen van geneesmiddelengegevens naar OMOP-concepten brengt echter aanzienlijke uitdagingen met zich mee, voornamelijk vanwege de complexiteit die betrokken is bij het standaardiseren van geneesmiddelennamen. In de HELIOS-studie werden geneesmiddelengegevens zelf gerapporteerd en handmatig ingevoerd via door verpleegkundigen beheerde vragenlijsten, daarom kunnen geneesmiddelen met merknaam, afkortingen, typografische fouten of fonetische fouten of gecombineerde geneesmiddelen worden geregistreerd. 3.1 Beschrijving van gegevens De eerste 400 voorbeelden uit de medicijndataset werden geselecteerd voor onze experimenten en vergelijking.Voor elk geval werd het beste OMOP-concept, evenals een bredere reeks concepten die overeenkwamen met de informele naam, samengesteld door menselijke annotatie. Bijvoorbeeld, voor “Memantine HCl” is het beste OMOP-concept “memantine hydrochloride”, hoewel “memantine” een ander acceptabel antwoord is. Voor een merkgeneesmiddel is het concept dat het merkproduct vertegenwoordigt het meest geschikte OMOP-concept. De generieke ingrediëntennamen kunnen worden opgenomen in een bredere reeks acceptabele concepten, op voorwaarde dat alle ingrediënten binnen het concept worden vermeld. Bijvoorbeeld voor “cocodamol capsule”, zou “Acetaminophen / Codeine Oral Capsule [Co-codamol]” de beste match zijn, maar “acetaminophen / codeine” zou worden geaccepteerd als een bredere definitie. Dit illustreert ook verder 297 de uitdagingen met het mappen en de mogelijke onzekerheden die Van de 400 voorbeelden werden 25 geclassificeerd als “Not Parsable”.Dit waren ofwel formuleringen die verschillende ingrediënten bevatten waar de formulering geen concept heeft in de OMOP CDM, bv. “lipesco”, die lipozuur en vier vitamines bevat en niet in de OMOP CDM is; of waar de naam niet kon worden opgelost, bv. “Hollister (gout)”. 3.2 Experimenteel ontwerp De gegevensinstanties werden uitgevoerd door de vectorzoek- en LLM-gedeelten van de pijplijn en vergeleken met de menselijke annotaties. De top 5 resultaten van de vectorzoek werden gebruikt. 
 
 
 
 
 
 
 Whether the input is an exact match to an OMOP concept 
 
 Whether the correct OMOP concept is in the result of the vector search 
 
 Whether the LLM provides the correct answer 
 
 If the answer was incorrect, whether it is a relevant OMOP concept Voor elk voorbeeld en beide methoden werden de top 5 resultaten genomen en elke reactie werd gerangschikt door of de juiste mapping of een relevante mapping werd gevonden. 3.3 Resultaten Tabel 1 beschrijft de resultaten van het vergelijken van Usagi met de vectorzoekopdracht van Llettuce.Het aantal resultaten met ten minste één relevant concept in de top 5 was zeer vergelijkbaar tussen de methoden (68% voor beide). 3.3.1 Comparison between vector search and Usagi Usagi werkt goed wanneer het wordt gebruikt om concepten te vinden waar de input een typografische fout heeft. Zijn tekortkomingen kunnen worden geïllustreerd door hoe het reageert op verschillende beschrijvingen van de mometasone furoaat neusspray, "nasonex". In de voorbeelden, doseringsinformatie, zoals "Nasonex (voor elke neusholte)" produceert de output weergegeven in Tabel 2 voor de top vijf resultaten. 3.3.2 Comparison with GPT-3 Van de 336 voorbeelden waar de input in een OMOP-concept kan worden gelezen en de input niet precies overeenkwam met een OMOP-concept, kon Llettuce 193, of 48.25% correct identificeren. GPT-3 kon 57,75% correct identificeren. Beide leverden onnauwkeurige maar overeenkomstige concepten, 44 (11%) voor Llettuce en 67 (16.75%) voor GPT-3. De top 5 vectormatches 329 haalden het juiste concept voor 21 van de 99 inputs die Llettuce onjuist beantwoordde. van de overige concepten, 78 had geen output die noch het juiste concept bevatte noch een relevant OMOP-concept produceerde. de pijpleiding van Llettuce werkt niet zo goed als GPT-3, wat alleen absoluut onjuist is op 38 namen. De tijd die nodig was om de Llettuce-pijplijn op 400 concepten uit te voeren was 55 minuten, 15 seconden, met behulp van een 2.8GHz quad-core Intel i7 CPU, 16 GB RAM. 4.3 Conclusies Llettuce demonstreert de mogelijkheden van het gebruik van deep-learning-benaderingen om gegevens naar OMOP-concepten te mappen. Het combineren van vectorzoek met een groot taalmodel resulteert in vergelijkbare prestaties met het grotere GPT-3-model. De vergelijking met string matching methoden is ook informatief. String matching kan de uitsteeksel van verschillende delen van de string niet leren. In het bovenstaande voorbeeld wordt het deel van de string "(voor elke nostril)", omdat het langer is, als belangrijker behandeld; het algoritme weet dat deel niet te negeren. In tegenstelling hiermee is de vectorzoek van Llettuce correct Nasonex opgenomen in bijna al zijn inputs en identificeert het actieve ingrediënt correct. Opgemerkt moet worden dat in deze versie van Llettuce alleen het RxNorm-woordenboek werd vectoriseerd, waar Usagi ook de RxNorm-uitbreiding gebruikte. Deze dataset is ook een dataset waarbij Usagi relatief goed is, omdat het meestal omvat het extraheren van een enkel woord, het corrig Optimalisaties zullen mogelijk zijn in latere versies. De modellen die worden gebruikt voor zowel embeddings als tekstgeneratie zijn algemene-doelmodellen (bge-small-en-v1.5 en Llama-3.1-8B respectievelijk). Bestaande gespecialiseerde modellen, ofwel fijn aangepast of getraind ab initio (Gu et al., 2020) op biomedische literatuur, zullen worden getest op prestaties op Llettuce-taken. Verdere ontwikkeling zal komen van fijn aangepaste modellen die in-house zijn ontwikkeld. Onze lokale implementatie van Llettuce zal gegevensverzamelings- en logboodschappen en -reacties implementeren, samen met de uiteindelijke mapping. Deze gegevens zullen worden gebruikt om de gebruikte modellen te verfijnen. Het is belangrijk om te benadruk Financiering Dit onderzoek werd gefinancierd door het NIHR Nottingham Biomedical Research Centre. Data beschikbaarheid Verzoeken om toegang tot gegevens kunnen worden ingediend bij het HELIOS Data Access Committee door te e-mailen naar helios_science@ntu.edu.sg voor details. erkenningen De auteurs danken de mensen of instellingen die u hebben geholpen bij de voorbereiding van het manuscript. 3.5 Referenties Appleby, P., Masood, E., Milligan, G., Macdonald, C., Quinlan, P., & Cole, C. Carrot-cdm: Een open source tool voor het transformeren van gegevens voor federated ontdekking in gezondheidsonderzoek [Research Software Engineering Conference 2023, RSECON23 ; Conferentiedatum: 04-09-2023 Door 07-09-2023]. Engels. In: In Carrot-cdm: Een open source tool voor het transformeren van gegevens voor federated ontdekking in gezondheidsonderzoek. Research Software Engineering Conference 2023, RSECON23 ; Conferentiedatum: 04-09-2023 Door 07-09-2023. 2023, september. https://doi.org/10.5281/70zenodo.1025 Bayer, M. (2012). Sqlalchemy (A. Brown & G. Wilson, Eds.). http://aosabook.org/en/sqlalchemy.html Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). Een Neural Probabilistic Language Model. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Kind, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020, 22 juli). Taalmodellen zijn Few-Shot Learners. arXiv: 2005.14165 [cs]. https://doi.org/10.48550/arXiv.2005.145165. Cholan, R. A., Pappas, G., Rehwoldt, G., Sills, A. K., Korte, E. D., Appleton, I. K., Scott, N. M., Rubinstein, W. S., Brenner, S. A., Merrick, R., Hadden, W. C., Campbell, K. E., & Waters, M. S. (2022). Codering laboratoriumtestgegevens: Case studies van de nationale implementatie van hhs-vereisten en aanverwante normen in vijf laboratoria. Journal van de American Medical Informatics Association, 29(8), 1372–1380. https://doi.org/10.1093/jamia/ocac072 Cox, S., Masood, E., Panagi, V., Macdonald, C., Milligan, G., Horban, S., Santos, R., Hall, C., Lea, D., Tarr, S., Mumtaz, S., Akashili, E., Rae, A., Cole, C., Sheikh, A., Jefferson, E., & Quinlan, P. R. (2024). Verbetering van de kwaliteit, snelheid en transparantie van curating gegevens naar de observationele medische uitkomsten partnerschap (OMOP) gemeenschappelijke gegevensmodel met behulp van de wortel tool. JMIR Preprints. https://doi.org/10.2196/preprints.60917 Deepset GmbH. (2024). Haystack: Neurale vraag beantwoorden op schaal [Gegeven: 16-08-2024]. Deng, H., Zhou, Q., Zhang, Z., Zhou, T., Lin, X., Xia, Y., Fan, L., & Liu, S. (2024). De huidige status en vooruitzichten van grote taalmodellen in medische toepassing en onderzoek. Chinese Journal of Academic Radiology. https://doi.org/10.1007/s42058- 024-00164-x Dettmers, T., & Zettlemoyer, L. (2023, 27 februari). Het geval voor 4-bits nauwkeurigheid: K-bit Inference Scaling Laws. arXiv: 2212.09720 [cs]. https://doi.org/10.48550/arXiv.2212.09720 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019, 24 mei). BERT: Pre-training van Deep Bidirectional Transformers voor taalbegrip. arXiv: 1810.04805 [cs]. https://doi.org/10.48550/arXiv.1810.04805 Dubey, A., Jauhri, A., Pandey, A., Kadian, A., Al-Dahle, A., Letman, A., Mathur, A., Schelten, A., Yang, A., Fan, A., Goyal, A., Hartshorn, A., Yang, A., Mitra, A., Sravankumar, A., Korenev, A., Hinsvark, A., Rao, A., Zhang, A., . . . Zhao, Z. (2024, 15 augustus). De Llama 3 Herd van Modellen. arXiv: 2407.21783 [cs]. https://doi.org/10.48550/arXiv.2407.21783 F., H., J., H., K., T., A., H., M.J., M., T.W.R., B., J., Y., J., D., A., W., S., E.-J., & W.K., G. (2022). Gegevens consistentie in de Engelse ziekenhuis episodes statistieken database. BMJ Health Care Inform, 29(1), e100633. https://doi.org/10.1136/bmjhci-2022-100633 Gerganov, G., et al. (2024). Llama.cpp [Gegeven: 19-08-2024]. https://github.com/ggerganov/llama.cpp Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., & Poon, H. (2020). Domain-specifieke taalmodel vooropleiding voor biomedische natuurlijke taalverwerking. Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., Adam, H., & Kalenichenko, D. (2017, 15 december). Quantificatie en training van neurale netwerken voor efficiënte integer-arithmetische-alleen inferentie. arXiv: 1712 . 05877 [cs, stat]. https://doi.org/10.48550/arXiv.1712.05877 Kong, A., Zhao, S., Chen, H., Li, Q., Qin, Y., Sun, R., Zhou, X., Wang, E., & Dong, X. (2024, maart). Beter Zero-Shot Reasoning met Role-Play Prompting. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2021, 12 april). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv: 2005. 11401 [cs]. https://doi.org/10.48550/arXiv.2005.11401 Meta-llama/llama-recipes. (2024, 19 augustus). Ontvangen 19 augustus 2024, van https://github.com/meta-llama/llama-recipes Nazi, Z. A., & Peng, W. (2024). Grote taalmodellen in de gezondheidszorg en medisch domein: een overzicht. Informatics, 11(3), 57. https://doi.org/10.3390/informatics11030057 OHDSI. (2021). (waarnemingsgezondheidsgegevenswetenschappen en informatica), Usagi documentatie [Gegeven: 13-08-2024]. https://ohdsi.github.io/Usagi/ OHDSI. (2024a). Athene: gestandaardiseerde woordenschat [Gegeven: 16-08-2024]. https://athena.ohdsi.org/search-terms/start OHDSI. (2024b). standaardisatie van gegevens [Gegeven: september 2024]. https://www.ohdsi.org/data-standardization/ OpenAI. (2024). Chatgpt: Taal model [Gegeven: 2024-08-16]. https://chat.openai.com/ Qdrant/fastembed. (2024, 19 augustus). Ontvangen 19 augustus 2024, van https://github.com/qdrant/fastembed Ramírez, S. (2024). Fastapi [Gegeven: 19-08-2024]. https://fastapi.tiangolo.com Reimers, N., & Gurevych, I. (2019, 27 augustus). Stelling-BERT: Stelling Embeddings met behulp van Siamese BERT-Networks. arXiv: 1908. 10084 [cs]. https://doi.org/10.48550/arXiv.1908.10084 Streamlit. (2024). Streamlit: De snelste manier om data-apps te bouwen en te delen [Gegeven: 16-08-2024]. https://streamlit.io Wang, X., Mina, T., Sadhu, N., Jain, P. R., Ng, H. K., Low, D. Y., Tay, D., Tong, T. Y. Y., Choo, W.-L., Kerk, S. K., Low, G. L., Team, T. H. S., Lam, B. C. C., Dalan, R., Wanseicheong, G., Yew, Y. W., Leow, E.-J., Brage, S., Michelotti, G. A., . . . Chambers, J. C. (2024, 24 mei). De gezondheid voor het leven in Singapore (HELIOS) Studie: Het leveren van Precision Medicine onderzoek voor Aziatische populaties. https://doi.org/11010.1/2024.05.14.24307259 Wilkinson, M., Dumontier, M., Aalbersberg, I., et al. (2016). De eerlijke richtsnoeren voor wetenschappelijk gegevensbeheer en beheer. Wetenschappelijke gegevens, 3, 160018. https://doi.org/10.1038/sdata.2016.18 
 
 
 
 
 
 
 
 
 
 
 
 
 De auteurs: (1) James Mitchell-White, Centre for Health Informatics, School of Medicine, The University of Nottingham, Digital Research Service, The University of Nottingham en NIHR Nottingham Biomedical Research Centre; (2) Reza Omdivar, Digital Research Service, Universiteit van Nottingham en NIHR Nottingham Biomedisch Onderzoekscentrum; (3) Esmond Urwin, Centre for Health Informatics, School of Medicine, De Universiteit van Nottingham en NIHR Nottingham Biomedical Research Centre; (4) Karthikeyan Sivakumar, Digital Research Service, Universiteit van Nottingham; (5) Ruizhe Li, NIHR Nottingham Biomedisch Onderzoekscentrum en School of Computer Science, Universiteit van Nottingham; (6) Andy Rae, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore; (8) Theresia Mina, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore; (9) John Chambers, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore en Department of Epidemiology and Biostatistics, School of Public Health, Imperial College London, Verenigd Koninkrijk; (10) Grazziela Figueredo, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham en NIHR Nottingham Biomedisch Onderzoekscentrum; (11) Philip R Quinlan, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham. Authors: (1) James Mitchell-White, Centre for Health Informatics, School of Medicine, The University of Nottingham, Digital Research Service, The University of Nottingham en NIHR Nottingham Biomedical Research Centre; (2) Reza Omdivar, Digital Research Service, Universiteit van Nottingham en NIHR Nottingham Biomedisch Onderzoekscentrum; (3) Esmond Urwin, Centre for Health Informatics, School of Medicine, De Universiteit van Nottingham en NIHR Nottingham Biomedical Research Centre; (4) Karthikeyan Sivakumar, Digital Research Service, Universiteit van Nottingham; (5) Ruizhe Li, NIHR Nottingham Biomedisch Onderzoekscentrum en School of Computer Science, Universiteit van Nottingham; (6) Andy Rae, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore; (8) Theresia Mina, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore; (9) John Chambers, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore en Department of Epidemiology and Biostatistics, School of Public Health, Imperial College London, Verenigd Koninkrijk; (10) Grazziela Figueredo, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham en NIHR Nottingham Biomedisch Onderzoekscentrum; (11) Philip R Quinlan, Centre for Health Informatics, School of Medicine, Universiteit van Nottingham. 
 
 Dit document is verkrijgbaar onder de CC BY 4.0 licentie. Dit document is verkrijgbaar onder de CC BY 4.0 licentie.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Natural Language Processing

undefined's blog

Deze audio wordt geproduceerd in de originele taal van het verhaal!

Deze AI-tool verandert 400 informele namen in nauwkeurige OMOP-code

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps