Bàn trái 
 
 
 
 
 
 Abstract and Introduction 
 
 
 
 
 
 
 
 
 
 System Architecture 2.1  Access via UI or HTTP 2.1.1  GUI 2.2  Input 2.3  Natural Language Processing Pipeline — The Llettuce API 2.3.1  Vector search 2.3.2  LLM 2.3.3  Concept Matches 2.4  Output 
 
 
 
 
 
 
 
 
 Case Study: Medication Dataset 3.1  Data Description 3.2  Experimental Design 3.3  Results 3.3.1  Comparison between vector search and Usagi 3.3.2  Comparison with GPT-3 3.4  Conclusions & Acknowledgement 3.5  References Case Study: Dataset thuốc Dữ liệu về thuốc được thu thập từ nghiên cứu Health for Life in Singapore (HELIOS) (IRB phê duyệt bởi Đại học Công nghệ Nanyang: IRB-2016-11-030), một nghiên cứu nhóm dân số theo chiều dài phenotyped bao gồm 10,004 dân số đa sắc tộc châu Á của Singapore trong độ tuổi 30-85 (Wang et al., 2024). Những người tham gia nghiên cứu HELIOS đã được tuyển dụng từ dân số Singapore nói chung giữa năm 2018 và 2022 và trải qua đặc điểm hóa lâm sàng, hành vi, phân tử và di truyền rộng rãi. Với dữ liệu cơ bản phong phú và theo dõi lâu dài thông qua liên kết với dữ liệu y tế quốc gia, nghiên cứu HELIOS cung cấp một nguồn tài nguyên duy nhất và đẳng cấp thế giới cho các nhà nghiên cứu y sinh học trên một loạt các ngành để hiểu được nguyên nhân và bệnh lý của các kết Để tạo điều kiện cho nghiên cứu có thể mở rộng và hợp tác, nghiên cứu HELIOS thực hiện OMOP-CDM. Tuy nhiên, việc lập bản đồ dữ liệu thuốc vào các khái niệm OMOP đặt ra những thách thức đáng kể, chủ yếu là do sự phức tạp liên quan đến việc chuẩn hóa tên thuốc. Trong nghiên cứu HELIOS, dữ liệu thuốc được tự báo cáo và nhập bằng tay thông qua các bảng câu hỏi do y tá quản lý, do đó, các loại thuốc có tên thương hiệu, chữ viết tắt, lỗi chữ viết hoặc lỗi ngữ pháp, hoặc các loại thuốc kết hợp có thể được ghi lại. 3.1 Mô tả dữ liệu Đối với mỗi trường hợp, khái niệm OMOP tốt nhất, cũng như một tập hợp khái niệm rộng hơn có thể phù hợp với tên không chính thức, đã được biên soạn bằng ghi chú của con người. Ví dụ, đối với “Memantine HCl”, khái niệm OMOP tốt nhất là “memantine hydrochloride”, mặc dù “memantine” là một câu trả lời chấp nhận được khác. Đối với một loại thuốc có thương hiệu, khái niệm đại diện cho sản phẩm có thương hiệu là khái niệm OMOP phù hợp nhất. Các tên thành phần chung có thể được bao gồm trong một tập hợp rộng hơn của các khái niệm chấp nhận được, miễn là tất cả các thành phần được liệt kê trong khái niệm. Ví dụ, đối với “cocodamol capsule”, “Acetaminophen / Codeine Oral Capsule [Co-codamol]” sẽ là sự phù hợp tốt nhất, nhưng “acetaminophen / codeine” sẽ được chấp nhận như một định nghĩa rộng hơn. Điều này cũng cho thấy thêm 297 những thách thức với bản đồ và Trong số 400 ví dụ, 25 đã được xếp hạng là "Không có khả năng phân hủy". Đây là các công thức có chứa một số thành phần nơi công thức không có khái niệm trong OMOP CDM, ví dụ như "lipesco", có chứa axit lipoic và bốn vitamin và không nằm trong OMOP CDM; hoặc nơi tên không thể được giải quyết, ví dụ như "Hollister (gout)". 3.2 Thiết kế thử nghiệm Các trường hợp dữ liệu được chạy thông qua các phần tìm kiếm vector và LLM của đường ống và so sánh với các ghi chú của con người. 5 kết quả hàng đầu từ tìm kiếm vector được sử dụng. 
 
 
 
 
 
 
 Whether the input is an exact match to an OMOP concept 
 
 Whether the correct OMOP concept is in the result of the vector search 
 
 Whether the LLM provides the correct answer 
 
 If the answer was incorrect, whether it is a relevant OMOP concept Đối với mỗi ví dụ và cả hai phương pháp, 5 kết quả hàng đầu đã được lấy và mỗi câu trả lời được phân loại theo việc tìm thấy bản đồ chính xác hay bản đồ có liên quan. 3.3 Kết quả Bảng 1 mô tả kết quả so sánh Usagi với tìm kiếm vector của Llettuce. số lượng kết quả với ít nhất một khái niệm có liên quan trong top 5 rất giống nhau giữa các phương pháp (68% cho cả hai). tuy nhiên, Llettuce vượt Usagi trong việc trả về khái niệm chính xác trong top 5 (44% cho Usagi, 54% cho Llettuce). 3.3.1 Comparison between vector search and Usagi Usagi hoạt động tốt khi được sử dụng để tìm các khái niệm nơi đầu vào có lỗi in. Những thiếu sót của nó có thể được minh họa bằng cách nó đáp ứng với các mô tả khác nhau của thuốc xịt mũi mometasone furoate, “nasonex”. Trong các ví dụ, thông tin liều lượng, chẳng hạn như “Nasonex (cho mỗi mũi)” tạo ra kết quả hiển thị trong Bảng 2 cho năm kết quả hàng đầu. 3.3.2 Comparison with GPT-3 Trong số 336 ví dụ nơi đầu vào có thể đọc được vào một khái niệm OMOP, và đầu vào không phù hợp chính xác với khái niệm OMOP, Llettuce có thể xác định chính xác 193, hoặc 48.25%. GPT-3 có thể xác định chính xác 57,75%. Cả hai đều cung cấp các khái niệm không chính xác nhưng phù hợp, 44 (11%) cho Llettuce và 67 (16.75%) cho GPT-3. Các 5 vectơ hàng đầu phù hợp 329 lấy khái niệm chính xác cho 21 trong số 99 đầu vào bị Llettuce trả lời sai. Trong số các khái niệm còn lại, 78 không có đầu ra không bao gồm khái niệm chính xác cũng không tạo ra một khái niệm OMOP có liên quan. đường ống dẫn của Llettuce không hoạt động như GPT-3, mà chỉ là hoàn toàn không chính xác trên 38 tên. tuy nhiên, nó đạt được điều này chạy cục bộ trên phần cứng tiêu dùng, sử dụng một mô hình nhỏ hơn nhiều và giữ bí mật. Thời gian để chạy đường ống dẫn Llettuce trên 400 khái niệm là 55 phút, 15 giây, sử dụng CPU Intel i7 quad-core 2.8GHz, 16 GB RAM. 4.4 Kết luận Llettuce cho thấy khả năng sử dụng các phương pháp học tập sâu để lập bản đồ dữ liệu vào các khái niệm OMOP. Kết hợp tìm kiếm vector với một mô hình ngôn ngữ lớn dẫn đến hiệu suất tương đương với mô hình GPT-3 lớn hơn. Điều này cho thấy rằng những lợi thế của xử lý ngôn ngữ tự nhiên dựa trên mạng thần kinh có thể được khai thác để tạo ra mã hóa y tế 344, ngay cả trong một môi trường nơi bảo mật là cần thiết. So sánh với các phương pháp kết hợp chuỗi cũng là thông tin. Kết hợp chuỗi không thể học được sự nổi bật của các phần khác nhau của chuỗi. Trong ví dụ trên, phần của chuỗi "(cho mỗi mũi)", vì nó dài hơn, được coi là quan trọng hơn; thuật toán không biết để bỏ qua phần đó. Ngược lại, tìm kiếm vector của Llettuce cũng bao gồm Nasonex chính xác trong hầu hết các đầu vào của nó, và xác định chính xác thành phần hoạt động. Cần lưu ý rằng trong phiên bản này của Llettuce, chỉ có từ vựng RxNorm được vectorized, nơi Usagi cũng sử dụng phần mở rộng RxNorm. Bộ dữ liệu này cũng là một trong đó Usagi tìm kiếm tương đối tốt, vì nó chủ yếu liên quan đến việc trích xuất một từ duy nhất, hoặc sửa chữa lỗi điển hình. Tối ưu hóa sẽ có thể trong các phiên bản sau. Các mô hình được sử dụng cho cả việc nhúng và tạo văn bản là các mô hình mục đích chung (bge-small-en-v1.5 và Llama-3.1-8B tương ứng). Các mô hình chuyên gia hiện có hoặc được điều chỉnh tốt hoặc được đào tạo ab initio (Gu et al., 2020) về văn học y sinh học sẽ được thử nghiệm để thực hiện các nhiệm vụ Llettuce. Sự phát triển hơn nữa sẽ đến từ các mô hình được điều chỉnh tốt được phát triển trong nhà. Việc triển khai địa phương của Llettuce của chúng tôi sẽ thực hiện các yêu cầu thu thập dữ liệu và ghi lại và phản hồi, cùng với bản đồ cuối cùng được thực hiện. Dữ liệu này sẽ được sử dụng để điều chỉnh tốt các mô hình được sử dụng. Điều quan trọng là 363 nhấn mạnh rằng việc thu thập tài trợ Nghiên cứu này được tài trợ bởi Trung tâm nghiên cứu y sinh Nottingham NIHR. Dữ liệu Availability Yêu cầu truy cập dữ liệu có thể được gửi đến Ủy ban Truy cập Dữ liệu HELIOS bằng cách gửi email helios_science@ntu.edu.sg để biết chi tiết. Công nhận Các tác giả cảm ơn những người hoặc tổ chức đã giúp bạn chuẩn bị bản thảo. 3.5 Tham khảo Appleby, P., Masood, E., Milligan, G., Macdonald, C., Quinlan, P., & Cole, C. Carrot-cdm: Một công cụ nguồn mở để chuyển đổi dữ liệu cho khám phá liên bang trong nghiên cứu y tế [Research Software Engineering Conference 2023, RSECON23 ; Ngày hội nghị: 04-09-2023 Thông qua 07-09-2023]. Tiếng Anh. Trong: In Carrot-cdm: Một công cụ nguồn mở để chuyển đổi dữ liệu cho khám phá liên bang trong nghiên cứu y tế. Hội nghị Kỹ thuật phần mềm nghiên cứu 2023, RSECON23 ; Ngày hội nghị: 04-09-2023 Thông qua 07-09-2023. 2023, Tháng Chín. https://doi.org/10.5281/70zenodo.1025 Bayer, M. (2012). Sqlalchemy (A. Brown & G. Wilson, Eds.). http://aosabook.org/en/sqlalchemy.html Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). Một mô hình ngôn ngữ xác suất thần kinh. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020, ngày 22 tháng 7 năm 2020). Mô hình ngôn ngữ là người học ít ảnh hưởng. arXiv: 2005.14165 [cs]. https://doi.org/10.48550/arXiv.2005.145165. Cholan, R. A., Pappas, G., Rehwoldt, G., Sills, A. K., Korte, E. D., Appleton, I. K., Scott, N. M., Rubinstein, W. S., Brenner, S. A., Merrick, R., Hadden, W. C., Campbell, K. E., & Waters, M. S. (2022). Mã hóa dữ liệu thử nghiệm trong phòng thí nghiệm: Nghiên cứu trường hợp thực hiện các yêu cầu hhs quốc gia và các tiêu chuẩn liên quan trong năm phòng thí nghiệm. Tạp chí Hiệp hội Thông tin y tế Mỹ, 29(8), 1372–1380. https://doi.org/10.1093/jamia/ocac072 Cox, S., Masood, E., Panagi, V., Macdonald, C., Milligan, G., Horban, S., Santos, R., Hall, C., Lea, D., Tarr, S., Mumtaz, S., Akashili, E., Rae, A., Cole, C., Sheikh, A., Jefferson, E., & Quinlan, P. R. (2024). Cải thiện chất lượng, tốc độ và tính minh bạch của dữ liệu điều trị đến mô hình dữ liệu chung của quan sát kết quả y tế hợp tác (OMOP) bằng cách sử dụng công cụ cà rốt. JMIR Preprints. https://doi.org/10.2196/preprints.60917 Deepset GmbH. (2024). Haystack: Câu hỏi thần kinh trả lời ở quy mô [Đã truy cập: 16-08-2024]. Deng, H., Zhou, Q., Zhang, Z., Zhou, T., Lin, X., Xia, Y., Fan, L., & Liu, S. (2024). Tình trạng hiện tại và triển vọng của các mô hình ngôn ngữ lớn trong ứng dụng y tế và nghiên cứu. Tạp chí Trung Quốc về X quang học. https://doi.org/10.1007/s42058- 024-00164-x Dettmers, T., & Zettlemoyer, L. (2023, 27 tháng 2). Trường hợp cho độ chính xác 4-bit: K-bit Inference Scaling Laws. arXiv: 2212.09720 [cs]. https://doi.org/10.48550/arXiv.2212.09720 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019, 24 tháng 5 năm 2019). BERT: Đào tạo trước các nhà biến đổi hai chiều sâu để hiểu ngôn ngữ. arXiv: 1810.04805 [cs]. https://doi.org/10.48550/arXiv.1810.04805 Dubey, A., Jauhri, A., Pandey, A., Kadian, A., Al-Dahle, A., Letman, A., Mathur, A., Schelten, A., Yang, A., Fan, A., Goyal, A., Hartshorn, A., Yang, A., Mitra, A., Sravankumar, A., Korenev, A., Hinsvark, A., Rao, A., Zhang, A., . . . Zhao, Z. (2024, 15 tháng 8). The Llama 3 Herd of Models. arXiv: 2407.21783 [cs]. https://doi.org/10.48550/arXiv.2407.21783 F., H., J., H., K., T., A., H., M.J., M., T.W.R., B., J., Y., J., D., A., W., S., E.-J., & W.K., G. (2022). Dữ liệu nhất quán trong cơ sở dữ liệu thống kê bệnh viện tiếng Anh. BMJ Health Care Inform, 29(1), e100633. https://doi.org/10.1136/bmjhci-2022-100633 Gerganov, G., et al. (2024). Llama.cpp [Đã truy cập: 19-08-2024]. https://github.com/ggerganov/llama.cpp Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., & Poon, H. (2020). Mô hình ngôn ngữ cụ thể cho lĩnh vực đào tạo trước để xử lý ngôn ngữ tự nhiên y sinh. Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., Adam, H., & Kalenichenko, D. (2017, 15 tháng 12). Định lượng và đào tạo mạng lưới thần kinh cho hiệu quả Integer-Arithmetic-Only Inference. arXiv: 1712 . 05877 [cs, stat]. https://doi.org/10.48550/arXiv.1712.05877 Kong, A., Zhao, S., Chen, H., Li, Q., Qin, Y., Sun, R., Zhou, X., Wang, E., & Dong, X. (2024, tháng 3). Tốt hơn Zero-Shot Lý luận với Role-Play Prompting. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., & Kiela, D. (2021, 12 tháng 4 năm 2013)). Tái thu tăng thế hệ cho các nhiệm vụ NLP chuyên sâu. arXiv: 2005. 11401 [cs]. https://doi.org/10.48550/arXiv.2005.11401 Meta-llama/llama-recipes. (2024, 19 tháng 8). Truy cập ngày 19 tháng 8 năm 2024, từ https://github.com/meta-llama/llama-recipes Nazi, Z. A., & Peng, W. (2024). Mô hình ngôn ngữ lớn trong chăm sóc sức khỏe và lĩnh vực y tế: Một đánh giá. Thông tin, 11(3), 57. https://doi.org/10.3390/informatics11030057 OHDSI. (2021). (khoa học dữ liệu sức khỏe quan sát và khoa học máy tính), tài liệu Usagi [ Truy cập: 13-08-2024]. https://ohdsi.github.io/Usagi/ OHDSI. (2024a). Athena: Tiêu chuẩn hóa từ vựng [ Truy cập: 16-08-2024]. https://athena.ohdsi.org/search-terms/start OHDSI. (2024b). Tiêu chuẩn hóa dữ liệu [ Truy cập: tháng 9 năm 2024]. https://www.ohdsi.org/data-standardization/ OpenAI. (2024). Chatgpt: Mô hình ngôn ngữ [Đã truy cập: 2024-08-16]. https://chat.openai.com/ Qdrant/fastembed. (2024, tháng 8 19). Truy cập ngày 19 tháng 8 năm 2024, từ https://github.com/qdrant/fastembed Chùa Chùa Chùa Chùa Chùa Chùa Chùa Chùa Chùa Chùa Reimers, N., & Gurevych, I. (2019, tháng Tám 27). Phiên bản-BERT: Phiên bản nhúng bằng cách sử dụng Siamese BERT-Networks. arXiv: 1908. 10084 [cs]. https://doi.org/10.48550/arXiv.1908.10084 Streamlit. (2024). Streamlit: Cách nhanh nhất để xây dựng và chia sẻ ứng dụng dữ liệu [ Truy cập: 16-08-2024]. https://streamlit.io Wang, X., Mina, T., Sadhu, N., Jain, P. R., Ng, H. K., Low, D. Y., Tay, D., Tong, T. Y. Y., Choo, W.-L., Kerk, S. K., Low, G. L., Nhóm, T. H. S., Lam, B. C. C., Dalan, R., Wanseicheong, G., Yew, Y. W., Leow, E.-J., Brage, S., Michelotti, G. A., . . Chambers, J. C. (2024, 24 tháng 5). Sức khỏe cho cuộc sống ở Singapore (HELIOS) Nghiên cứu: Cung cấp nghiên cứu y học chính xác cho dân số châu Á. https://doi.org/11010.1/2024.05.14.24307259 Wilkinson, M., Dumontier, M., Aalbersberg, I., et al. (2016). Các nguyên tắc hướng dẫn công bằng cho quản lý dữ liệu khoa học và quản lý. Dữ liệu khoa học, 3, 160018. https://doi.org/10.1038/sdata.2016.18 
 
 
 
 
 
 
 
 
 
 
 
 
 Tác giả : (1) James Mitchell-White, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham, Dịch vụ Nghiên cứu Kỹ thuật số, Đại học Nottingham, và Trung tâm Nghiên cứu y sinh NIHR Nottingham; (2) Reza Omdivar, Dịch vụ nghiên cứu kỹ thuật số, Đại học Nottingham, và Trung tâm nghiên cứu y sinh NIHR Nottingham; (3) Esmond Urwin, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham và Trung tâm Nghiên cứu Y sinh Nottingham của NIHR; (4) Karthikeyan Sivakumar, Dịch vụ nghiên cứu kỹ thuật số, Đại học Nottingham; (5) Ruizhe Li, NIHR Trung tâm nghiên cứu y sinh Nottingham và Trường Khoa học Máy tính, Đại học Nottingham; (6) Andy Rae, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham; (7) Xiaoyan Wang, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore; (8) Theresia Mina, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore; (9) John Chambers, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore và Khoa dịch tễ học và thống kê sinh học, Trường Y tế Công cộng, Imperial College London, Vương quốc Anh; (10) Grazziela Figueredo, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham và Trung tâm Nghiên cứu Y sinh Nottingham của NIHR; (11) Philip R Quinlan, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham. Authors: (1) James Mitchell-White, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham, Dịch vụ Nghiên cứu Kỹ thuật số, Đại học Nottingham, và Trung tâm Nghiên cứu y sinh NIHR Nottingham; (2) Reza Omdivar, Dịch vụ nghiên cứu kỹ thuật số, Đại học Nottingham, và Trung tâm nghiên cứu y sinh NIHR Nottingham; (3) Esmond Urwin, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham và Trung tâm Nghiên cứu Y sinh Nottingham của NIHR; (4) Karthikeyan Sivakumar, Dịch vụ nghiên cứu kỹ thuật số, Đại học Nottingham; (5) Ruizhe Li, NIHR Trung tâm nghiên cứu y sinh Nottingham và Trường Khoa học Máy tính, Đại học Nottingham; (6) Andy Rae, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham; (7) Xiaoyan Wang, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore; (8) Theresia Mina, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore; (9) John Chambers, Trường Y khoa Lee Kong Chian, Đại học Công nghệ Nanyang, Singapore và Khoa dịch tễ học và thống kê sinh học, Trường Y tế Công cộng, Imperial College London, Vương quốc Anh; (10) Grazziela Figueredo, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham và Trung tâm Nghiên cứu Y sinh Nottingham của NIHR; (11) Philip R Quinlan, Trung tâm Thông tin Y tế, Trường Y học, Đại học Nottingham. 
 
 Tài liệu này có sẵn trên archiv dưới giấy phép CC BY 4.0. Bài báo này là theo giấy phép CC BY 4.0. Có sẵn trong Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Natural Language Processing

undefined's blog

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Công cụ AI biến 400 tên không chính xác thành mã OMOP chính xác

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

72 Stories To Learn About The Essays Of Adam Smith

85 Stories To Learn About Travel

223 Stories To Learn About Science

581 Stories To Learn About Non Fiction

72 Stories To Learn About The Essays Of Adam Smith

85 Stories To Learn About Travel

223 Stories To Learn About Science

581 Stories To Learn About Non Fiction

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps