Tabel dari kiri 
 
 
 
 
 
 Abstract and Introduction 
 
 
 
 
 
 
 
 
 
 System Architecture 2.1  Access via UI or HTTP 2.1.1  GUI 2.2  Input 2.3  Natural Language Processing Pipeline — The Llettuce API 2.3.1  Vector search 2.3.2  LLM 2.3.3  Concept Matches 2.4  Output 
 
 
 
 
 
 
 
 
 Case Study: Medication Dataset 3.1  Data Description 3.2  Experimental Design 3.3  Results 3.3.1  Comparison between vector search and Usagi 3.3.2  Comparison with GPT-3 3.4  Conclusions & Acknowledgement 3.5  References Studi Kasus: Dataset Obat Data obat diperoleh dari studi Health for Life di Singapura (HELIOS) (IRB disetujui oleh Nanyang Technological University: IRB-2016-11-030), sebuah studi kohort populasi longitudinal phenotyped yang terdiri dari 10,004 populasi Asia multi-etnis Singapura berusia 30-85 tahun (Wang et al., 2024). Peserta dalam studi HELIOS direkrut dari populasi umum Singapura antara 2018 dan 2022 dan mengalami karakterisasi klinis, perilaku, molekuler dan genetik yang luas. Dengan data dasar yang kaya dan pelacakan jangka panjang melalui tautan ke data kesehatan nasional, studi HELIOS memberikan sumber daya yang unik dan kelas dunia bagi para peneliti biomedis di berbagai disiplin ilmu untuk memahami etiologi dan patogenesis berbagai hasil penyakit di Asia, dengan potensi untuk meningkatkan kesehatan dan memajukan perawatan kesehatan bagi populasi Asia. Untuk memfasilitasi penelitian yang dapat diperluas dan kolaboratif, studi HELIOS menerapkan OMOP-CDM. Namun, memetakan data obat ke konsep OMOP menimbulkan tantangan yang signifikan, terutama karena kompleksitas yang terlibat dalam mengestandarisasi nama obat. Dalam studi HELIOS, data obat dilaporkan sendiri dan dimasukkan secara manual melalui kuesioner yang diberikan oleh perawat, oleh karena itu, obat dengan nama merek, singkatan, kesalahan tipografi atau kesalahan fonetik, atau obat-obatan gabungan dapat dicatat. 3.1 Deskripsi data Untuk setiap contoh, konsep OMOP terbaik, serta serangkaian konsep yang lebih luas yang dapat sesuai dengan nama informal, dikompilasi oleh anotasi manusia. Misalnya, untuk “Memantine HCl”, konsep OMOP terbaik adalah “memantine hydrochloride”, meskipun “memantine” adalah jawaban yang dapat diterima lainnya. Untuk obat bermerek, konsep yang mewakili produk bermerek adalah konsep OMOP yang paling cocok. Nama bahan generik dapat dimasukkan dalam satu set lebih luas konsep yang dapat diterima, asalkan semua bahan tersebut tercantum dalam konsep. Misalnya, untuk “kapsul cocodamol”, “Acetaminophen / Codeine Oral Capsule [Co-codamol]” akan menjadi yang terbaik, tetapi “acetaminophen / codeine” akan diterima sebagai definisi yang lebih luas. Ini juga lebih lanjut 297 menggambarkan tantangan dengan memetakan dan ketidakpastian potensial yang dihadapi oleh masalah ini. Dari 400 contoh, 25 dinilai sebagai “Not Parsable”. ini adalah formulasi yang mengandung beberapa bahan di mana formulasi tidak memiliki konsep dalam OMOP CDM, misalnya “lipesco”, yang mengandung asam lipoik dan empat vitamin dan tidak ada di OMOP CDM; atau di mana nama tidak dapat diselesaikan, misalnya “Hollister (gout)”. 3.2 Desain eksperimental Instansi data berjalan melalui pencarian vektor dan bagian LLM dari pipa dan dibandingkan dengan anotasi manusia. hasil 5 teratas dari pencarian vektor digunakan. tanggapan dinilai oleh: 
 
 
 
 
 
 
 Whether the input is an exact match to an OMOP concept 
 
 Whether the correct OMOP concept is in the result of the vector search 
 
 Whether the LLM provides the correct answer 
 
 If the answer was incorrect, whether it is a relevant OMOP concept Contoh yang sama digunakan sebagai input untuk Usagi dan pencarian vektor. untuk setiap contoh dan kedua metode, 5 hasil teratas diambil dan setiap tanggapan diklasifikasikan berdasarkan apakah peta yang benar atau peta yang relevan ditemukan. 3.3 Hasil Tabel 1 menggambarkan hasil perbandingan Usagi dengan pencarian vektor Llettuce. jumlah hasil dengan setidaknya satu konsep yang relevan di atas 5 sangat mirip antara metode (68% untuk keduanya). 3.3.1 Comparison between vector search and Usagi Usagi bekerja dengan baik ketika digunakan untuk menemukan konsep di mana input memiliki kesalahan tipografi. Kekurangannya dapat diilustrasikan dengan bagaimana ia merespon berbagai deskripsi dari mometasone furoate nasal spray, “nasonex”. Dalam contoh, informasi dosis, seperti “Nasonex (untuk setiap hidung hidung)” menghasilkan output yang ditunjukkan dalam Tabel 2 untuk lima hasil teratas. 3.3.2 Comparison with GPT-3 Dari 336 contoh di mana input dapat dibaca ke dalam konsep OMOP, dan input tidak cocok dengan konsep OMOP, Llettuce dapat mengidentifikasi dengan benar 193, atau 48,25%. GPT-3 dapat mengidentifikasi dengan benar 57,75%. Keduanya memberikan konsep yang tidak akurat tetapi cocok, 44 (11%) untuk Llettuce dan 67 (16,75%) untuk GPT-3. 5 vektor top cocok 329 mendapatkan konsep yang benar untuk 21 dari 99 input yang salah dijawab oleh Llettuce. Dari konsep-konsep yang tersisa, 78 tidak memiliki output yang tidak termasuk konsep yang benar atau menghasilkan konsep OMOP yang relevan. pipa Llettuce tidak bekerja sama dengan GPT-3, yang hanya benar-benar salah pada 38 nama. Waktu yang dibutuhkan untuk menjalankan Llettuce pipa pada 400 konsep adalah 55 menit, 15 detik, menggunakan 2.8GHz quad-core Intel i7 CPU, 16 Gb RAM. 4.4 Kesimpulan Llettuce menunjukkan kemungkinan menggunakan pendekatan pembelajaran mendalam untuk memetakan data ke konsep OMOP. menggabungkan pencarian vektor dengan model bahasa yang besar menghasilkan kinerja yang sebanding dengan model GPT-3 yang lebih besar. Perbandingan dengan metode matching string juga informatif. Matching string tidak dapat mempelajari keunggulan bagian yang berbeda dari string. Dalam contoh di atas, bagian dari string "(untuk setiap nostril)", karena lebih panjang, diperlakukan sebagai lebih penting; algoritma tidak tahu untuk mengabaikan bagian itu. Sebaliknya, pencarian vektor Llettuce dengan benar mencakup Nasonex di hampir semua inputnya, dan dengan benar mengidentifikasi bahan aktif. Perlu dicatat bahwa dalam versi Llettuce ini hanya kata RxNorm yang di vectorisasi, di mana Usagi juga menggunakan ekstensi RxNorm. Set data ini juga salah satu di mana pencarian Usagi relatif baik, karena sebagian besar melibatkan mengekstrak satu kata, atau memperbaiki kesalahan tipografi. Secara anekdotal, Usagi melakukan lebih buruk pada tugas-tugas lain, di mana input lebih lama Optimalisasi akan dimungkinkan dalam versi berikutnya. Model yang digunakan untuk kedua embeddings dan pengeluaran teks adalah model tujuan umum (bge-small-en-v1.5 dan Llama-3.1-8B masing-masing). Model spesialis yang ada baik disesuaikan atau dilatih ab initio (Gu et al., 2020) pada literatur biomedis akan diuji untuk kinerja pada tugas Llettuce. Pengembangan lebih lanjut akan datang dari model disesuaikan yang dikembangkan secara internal. Pengembangan lokal kami dari Llettuce akan menerapkan permintaan pengumpulan data dan catatan dan tanggapan, bersama dengan pemetaan akhir yang dibuat. Data ini akan digunakan untuk menyesuaikan model yang digunakan. Penting untuk menekankan bahwa pengumpulan data ini akan terbatas secara ketat pada implementasi lokal spesifik kami dari alat. Versi yang tersedia secara publik tidak akan mengumpulkan data pengguna atau interaksi Pembiayaan Penelitian ini didanai oleh NIHR Nottingham Biomedical Research Centre. Data ketersediaan Permintaan akses data dapat dikirim ke Komite Akses Data HELIOS dengan mengirim email ke helios_science@ntu.edu.sg untuk mendapatkan rincian. Pengakuan Para penulis berterima kasih kepada orang-orang atau lembaga yang telah membantu Anda dalam persiapan naskah. 3.5 Referensi Appleby, P., Masood, E., Milligan, G., Macdonald, C., Quinlan, P., & Cole, C. Carrot-cdm: Alat sumber terbuka untuk mengubah data untuk penemuan terfederasi dalam penelitian kesehatan [Research Software Engineering Conference 2023, RSECON23 ; Tanggal Konferensi: 04-09-2023 Melalui 07-09-2023]. Bahasa Inggris. Dalam: In Carrot-cdm: Sebuah alat sumber terbuka untuk mengubah data untuk penemuan terfederasi dalam penelitian kesehatan. Research Software Engineering Conference 2023, RSECON23 ; Tanggal Konferensi: 04-09-2023 Melalui 07-09-2023. 2023, September. https://doi.org/10.5281/70zenodo.107025 Bayer, M. (2012). Sqlalchemy (A. Brown & G. Wilson, Eds.). http://aosabook.org/en/sqlalchemy.html Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A Neural Probabilistic Language Model. T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020, 22 Juli). Model bahasa adalah Few-Shot Learners. arXiv: 2005.14165 [cs]. https://doi.org/10.48550/arXiv.2005.145165. Cholan, R. A., Pappas, G., Rehwoldt, G., Sills, A. K., Korte, E. D., Appleton, I. K., Scott, N. M., Rubinstein, W. S., Brenner, S. A., Merrick, R., Hadden, W. C., Campbell, K. E., & Waters, M. S. (2022). Pengkodean data pengujian laboratorium: Studi kasus implementasi nasional dari persyaratan hhs dan standar terkait di lima laboratorium. Journal of American Medical Informatics Association, 29(8), 1372–1380. https://doi.org/10.1093/jamia/ocac072 Cox, S., Masood, E., Panagi, V., Macdonald, C., Milligan, G., Horban, S., Santos, R., Hall, C., Lea, D., Tarr, S., Mumtaz, S., Akashili, E., Rae, A., Cole, C., Sheikh, A., Jefferson, E., & Quinlan, P. R. (2024). Meningkatkan kualitas, kecepatan dan transparansi curating data ke observasi hasil medis kemitraan (OMOP) model data umum menggunakan alat wortel. JMIR Preprints. https://doi.org/10.2196/preprints.60917 Deepset GmbH. (2024). Haystack: Pertanyaan saraf menjawab pada skala [Diakses: 16-08-2024]. Deng, H., Zhou, Q., Zhang, Z., Zhou, T., Lin, X., Xia, Y., Fan, L., & Liu, S. (2024). Status saat ini dan prospek model bahasa besar dalam aplikasi medis dan penelitian. Chinese Journal of Academic Radiology. https://doi.org/10.1007/s42058- 024-00164-x Dettmers, T., & Zettlemoyer, L. (2023, 27 Februari). Kasus untuk ketepatan 4-bit: K-bit Inference Scaling Laws. arXiv: 2212.09720 [cs]. https://doi.org/10.48550/arXiv.2212.09720 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019, 24 Mei). BERT: Pre-training dari Deep Bidirectional Transformers untuk Pemahaman Bahasa. arXiv: 1810.04805 [cs]. https://doi.org/10.48550/arXiv.1810.04805 A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. A. F., H., J., H., K., T., A., H., M.J., M., T.W.R., B., J., Y., J., D., A., W., S., E.-J., & W.K., G. (2022). Konsistensi data dalam database statistik episode rumah sakit Inggris. BMJ Health Care Inform, 29(1), e100633. https://doi.org/10.1136/bmjhci-2022-100633 Gerganov, G., et al. (2024). Llama.cpp [Diakses: 19-08-2024]. https://github.com/ggerganov/llama.cpp Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., & Poon, H. (2020). Model bahasa khusus domain pra-latihan untuk pemrosesan bahasa alami biomedis. Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., Adam, H., & Kalenichenko, D. (2017, 15 Desember). Kuantizasi dan Pelatihan Jaringan Neural untuk Efisiensi Integer-Arithmetic-Only Inference. arXiv: 1712 . 05877 [cs, stat]. https://doi.org/10.48550/arXiv.1712.05877 Kong, A., Zhao, S., Chen, H., Li, Q., Qin, Y., Sun, R., Zhou, X., Wang, E., & Dong, X. (2024, Maret). Lebih baik Zero-Shot Reasoning dengan Role-Play Prompting. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2021, 12 April). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv: 2005. 11401 [cs]. https://doi.org/10.48550/arXiv.2005.11401 Meta-llama/llama-recipes. (2024, 19 Agustus). Diunduh tanggal 19 Agustus 2024, dari https://github.com/meta-llama/llama-recipes Nazi, Z. A., & Peng, W. (2024). Model bahasa besar dalam perawatan kesehatan dan domain medis: Ulasan. Informatics, 11(3), 57. https://doi.org/10.3390/informatics11030057 OHDSI. (2021). (pengetahuan data kesehatan observasi dan informatika), dokumentasi Usagi [Diakses: 13-08-2024]. https://ohdsi.github.io/Usagi/ OHDSI. (2024a). Athena: kata-kata standar [Diakses: 16-08-2024]. https://athena.ohdsi.org/search-terms/start OHDSI. (2024b). Standardisasi data [Diakses: September 2024]. https://www.ohdsi.org/data-standardization/ OpenAI. (2024). Chatgpt: Model Bahasa [Diakses: 2024-08-16]. https://chat.openai.com/ Qdrant/fastembed. (2024, 19 Agustus). Diperoleh tanggal 19 Agustus 2024, dari https://github.com/qdrant/fastembed Tanjungpinang [Diakses: 19-08-2024]. https://fastapi.tiangolo.com Reimers, N., & Gurevych, I. (2019, 27 Agustus). Pernyataan-BERT: Pernyataan Embeddings menggunakan Siamese BERT-Networks. arXiv: 1908. 10084 [cs]. https://doi.org/10.48550/arXiv.1908.10084 Streamlit: Cara tercepat untuk membangun dan berbagi aplikasi data [Diakses: 16-08-2024]. https://streamlit.io Wang, X., Mina, T., Sadhu, N., Jain, P. R., Ng, H. K., Low, D. Y., Tay, D., Tong, T. Y. Y., Choo, W.-L., Kerk, S. K., Low, G. L., Tim, T. H. S., Lam, B. C. C., Dalan, R., Wanseicheong, G., Yew, Y. W., Leow, E.-J., Brage, S., Michelotti, G. A., . . . Chambers, J. C. (2024, 24 Mei). The Health for Life in Singapore (HELIOS) Study: Delivering Precision Medicine research for Asian populations. https://doi.org/11010.1/2024.05.14.24307259 Wilkinson, M., Dumontier, M., Aalbersberg, I., et al. (2016). Prinsip panduan yang adil untuk manajemen data ilmiah dan manajemen. Data ilmiah, 3, 160018. https://doi.org/10.1038/sdata.2016.18 
 
 
 
 
 
 
 
 
 
 
 
 
 Penulis : (1) James Mitchell-White, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham, Layanan Penelitian Digital, Universitas Nottingham, dan NIHR Nottingham Biomedical Research Centre; (2) Reza Omdivar, Digital Research Service, University of Nottingham, dan NIHR Nottingham Biomedical Research Centre; (3) Esmond Urwin, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham dan NIHR Nottingham Biomedical Research Centre; (4) Karthikeyan Sivakumar, Digital Research Service, Universitas Nottingham; (5) Ruizhe Li, NIHR Nottingham Biomedical Research Centre dan Sekolah Ilmu Komputer, Universitas Nottingham; (6) Andy Rae, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura; (8) Theresia Mina, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura; (9) John Chambers, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura dan Departemen Epidemiologi dan Biostatistik, School of Public Health, Imperial College London, Inggris; (10) Grazziela Figueredo, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham dan NIHR Nottingham Biomedical Research Centre; (11) Philip R Quinlan, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham. Authors: (1) James Mitchell-White, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham, Layanan Penelitian Digital, Universitas Nottingham, dan NIHR Nottingham Biomedical Research Centre; (2) Reza Omdivar, Digital Research Service, University of Nottingham, dan NIHR Nottingham Biomedical Research Centre; (3) Esmond Urwin, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham dan NIHR Nottingham Biomedical Research Centre; (4) Karthikeyan Sivakumar, Digital Research Service, Universitas Nottingham; (5) Ruizhe Li, NIHR Nottingham Biomedical Research Centre dan Sekolah Ilmu Komputer, Universitas Nottingham; (6) Andy Rae, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham; (7) Xiaoyan Wang, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura; (8) Theresia Mina, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura; (9) John Chambers, Lee Kong Chian School of Medicine, Nanyang Technological University, Singapura dan Departemen Epidemiologi dan Biostatistik, School of Public Health, Imperial College London, Inggris; (10) Grazziela Figueredo, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham dan NIHR Nottingham Biomedical Research Centre; (11) Philip R Quinlan, Pusat Informatika Kesehatan, Sekolah Kedokteran, Universitas Nottingham. 
 
 Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0. Kertas ini adalah dengan lisensi CC BY 4.0. Tersedia di Arsip

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Natural Language Processing

undefined's blog

Audio ini diproduksi dalam bahasa asli cerita!

Alat AI ini mengubah 400 nama informal menjadi kode OMOP yang akurat

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

How to biohack your intelligence — with everything from sex to modafinil to MDMA

And In The Open Air

Return to Pleasure Island

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

How to biohack your intelligence — with everything from sex to modafinil to MDMA

And In The Open Air

Return to Pleasure Island

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps