FOD#38: AI가 우리를 건강 모니터링의 새로운 시대로 안내할 수 있음

지난 월요일, 한 간호사가 나와 태아의 활력 징후를 추적하기 위해 무선 모니터를 사용해 보라고 제안했습니다.

“우리는 이 장치를 “모니카, 모니터!”라고 부릅니다. 함께 일하는 것은 꿈이거나 완전한 악몽입니다.”라고 간호사가 말했습니다.

그날 "Monica"(실제로는 Novii Wireless Patch System)의 성능이 매우 좋았습니다. 딸을 낳으면서도 전선의 방해 없이 자유롭게 움직일 수 있었습니다. 이 기술은 수동 신호 획득을 활용하여 태아와 산모의 심장 신호를 구별하고 자궁 수축을 감지합니다. 실시간 관찰을 위해 데이터가 모니터링 장치에 무선으로 전송됩니다. 이 시스템은 정확성을 높이고 잘못된 경보를 줄여 분만 중에 꼭 필요한 이동성을 제공합니다.

저는 기술에 대해 글을 쓰고 이론화하는 것과 그 놀라운 기능을 직접 경험하는 것은 별개라고 생각했습니다. 특히 장치가 완벽하게 작동하는 경우에는 더욱 그렇습니다. 질문이 생겼습니다. 기초 모델이 웨어러블 기기에 무엇을 추가할 수 있습니까? '모니카'를 경험한 직후 구글리서치와 MIT 연구진의 최근 논문이 내 관심을 끌었다. Kim 외가 작성한 ' Health-LLM: Large Language Models for Health Prediction via Wearable Sensor Data '라는 제목의 이 논문은 건강 예측을 위해 웨어러블 센서의 데이터 해석에 중점을 두고 건강 부문에서 LLM을 적용하는 방법을 자세히 설명합니다. 흥미롭게도 이러한 모델에는 의료 기록이나 의사의 진단서가 아닌 일일 걸음 수, 심박수, 수면 패턴 등을 추적하는 Fitbits와 같은 웨어러블 장치('Monica'와 유사)에서 데이터가 공급됩니다.

이 연구에서는 6개의 공중 보건 데이터 세트에 걸쳐 Med-Alpaca, PMC-Llama, Asclepius, ClinicalCamel, Flan-T5, Palmyra-Med, GPT-3.5 및 GPT-4 등 8개의 최첨단 LLM을 평가했습니다. 그들은 정신 건강, 활동, 신진대사, 수면, 심장 평가와 관련된 13가지 건강 예측 과제에 대한 실험을 수행했습니다.

팀은 제로샷 및 퓨샷 프롬프팅(예를 최소화하거나 전혀 사용하지 않고 모델 교육), 교육적 미세 조정(모델을 특정 작업에 맞게 조정), 심지어 매개변수 효율적인 미세 조정까지 포함한 다양한 방법을 실험했습니다. 계산 효율성.

특히 흥미로운 점은 사용자 컨텍스트, 건강 지식 및 시간 정보를 추가하는 프롬프트의 컨텍스트 강화 효과입니다. 이 접근 방식을 통해 성능이 최대 23.8% 향상되었습니다.

의료는 매우 민감한 분야이지만, 특히 기초 모델의 힘을 통해 인간을 위한 생성 AI의 잠재적 이점은 엄청납니다. Health-LLM은 웨어러블이 단순한 수동적 추적 장치가 아닌 능동적인 건강 수호자가 되는 미래를 탐구합니다.

헬스케어 분야의 또 다른 최근 획기적인 논문은 CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation이라는 제목의 Stanford 및 Stability AI 연구진이 발표한 것입니다. 이 논문의 가장 흥미로운 측면은 흉부 X선 해석을 위해 특별히 설계된 고급 기반 모델인 CheXagent의 개발입니다. 이 모델은 임상 LLM, 전문 비전 인코더 및 비전 언어 브리징 네트워크를 고유하게 결합하여 복잡한 의료 이미지를 해석하는 데 탁월한 성능을 보여줍니다. 정확성과 공정성 평가에서 기존 모델을 능가하는 능력은 의료 영상 AI 기술의 상당한 발전을 의미합니다. 시간을 많이 절약할 수 있어요! 그리고 아마도 살 수도 있습니다.

(새로 태어난 소녀인 Leeloo Joy가 안부를 전합니다. 우리는 지난주에 일주일을 쉬었지만 이제 다시 궤도에 올라 그녀와 그녀의 네 형제가 AI 세계에서 어떻게 살고 탐색할지 이해하기 위해 AI 세계를 탐험하고 있습니다.)

일반적인 용의자의 뉴스 ©

샘 알트만과 OpenAI

• OpenAI는 두 가지 새로운 임베딩 모델(텍스트 임베딩-3-소형 및 텍스트 임베딩-3-대형)과 GPT-4 Turbo, GPT-3.5 Turbo 및 텍스트 조정 모델의 업데이트 버전을 출시했습니다 . 새로운 임베딩 모델은 콘텐츠를 숫자 시퀀스로 표현하여 클러스터링이나 검색과 같은 기계 학습 작업을 향상시킵니다. 또한 더 효율적이고 비용 효율적입니다.
• 한편 Sam Altman은 부유한 투자자 및 TSMC와 같은 칩 제조 업체를 포함한 중동 후원자들과 새로운 칩 벤처 설립을 논의하고 있습니다. 이러한 움직임은 OpenAI의 증가하는 반도체 요구를 충족하고 Nvidia에 대한 의존도를 줄이는 것을 목표로 합니다. 벤처의 구조는 불분명하며 OpenAI의 별도 법인이거나 자회사일 수 있습니다.

블랙스톤이 들어서다

• 또 다른 거대 기업은 AI 혁명에 막대한 투자를 하고 있습니다. Blackstone은 미국 전역에 250억 달러 규모의 전력 집약적 데이터 센터 네트워크를 구축하고 있습니다. Blackstone은 주요 데이터 센터 운영업체인 QTS를 100억 달러에 인수한 후 거대 기술 기업의 증가하는 디지털 및 AI 수요를 충족하기 위해 대규모 시설을 개발하고 있습니다. 수백만 가구에 해당하는 전력을 소비하는 이 프로젝트는 지역 사회를 재편하고 자원 사용 및 지역 혜택에 대한 논쟁을 촉발시키고 있습니다. 전력 공급 부족 및 대중의 반발 등의 어려움에도 불구하고 Blackstone은 이 벤처를 잠재적으로 최고의 투자 중 하나로 간주하며 AI 시대에 데이터 인프라의 중요성과 복잡성이 증가하고 있음을 보여줍니다.

엘론 머스크, xAI 및 Tesla

• Elon Musk는 최근 중동, 홍콩, 일본, 한국의 글로벌 투자자로부터 xAI에 60억 달러 규모의 투자를 모색하면서 헤드라인을 장식하고 있습니다. 성공한다면 xAI의 가치는 200억 달러에 달해 Anthropic의 184억 달러를 능가하지만 OpenAI의 1,000억 달러에는 뒤처질 수 있습니다. 그러나 최근 머스크가 25%의 통제권을 확보하지 않으면 Tesla AI 프로젝트를 제거하겠다는 위협은 현재 투자자들 사이에서 불만을 불러일으키고 잠재적인 새로운 후원자와의 대화에 영향을 미칠 수 있습니다. 한편, Tesla는 AI 기술 발전에 대한 회사의 의지를 강조하기 위해 뉴욕주 버팔로 시설에 있는 "Dojo" 슈퍼컴퓨터에 5억 달러를 투자할 계획입니다 .

구글과 허깅 페이스

• 최근 발표된 Hugging Face와 Google Cloud의 파트너십은 AI에 대한 접근성을 높이는 것을 목표로 합니다. Hugging Face의 개방형 모델과 Google Cloud의 기술을 모두 활용하여 개방형 과학 및 소스의 공유 이니셔티브에 중점을 둡니다. 목표는 더 넓은 범위의 사용자와 애플리케이션을 위한 AI 기술 개발을 촉진하는 것입니다.
• 한편, Google Bard는 HuggingFace의 Chatbot Arena Leaderboard에서 2위로 올라 GPT-4를 제치고 이제 커뮤니티 중심 LLM 순위에서 GPT-4 Turbo에 뒤처졌습니다.

귀하의 편의를 위해 분류된 최신 연구 논문

모델 압축 및 효율성

• SLICEGPT : 성능을 유지하면서 매개변수를 제거하여 대규모 언어 모델을 효율적으로 압축하는 기술 → 논문 읽기
• DeepSeek-Coder : 광범위한 매개변수 범위를 갖춘 고성능, 다국어 코드 생성 모델 개발에 중점 → 논문 읽기
• SPACTOR-T5 : T5 모델에 대한 효율적인 사전 훈련 방법을 도입하여 계산 요구 사항을 줄입니다 → 논문 읽기
• MEDUSA : 다중 디코딩 헤드를 사용하여 대규모 언어 모델 추론을 가속화하기 위한 프레임워크 → 논문 읽기

LLM 역량 및 평가

• GPT-4에서 Gemini 및 그 이상까지 : 여러 양식에 걸쳐 MLLM의 일반화 가능성, 신뢰성 및 인과성을 평가합니다 → 논문 읽기
• MaLA-500 : 500개 이상의 언어를 지원하는 다국어 LLM을 개발하여 언어 모델 접근성 향상 → 논문 읽기
• 쌍안경으로 LLM 발견 : 대규모 언어 모델에서 생성된 텍스트의 제로샷 감지 방법 소개 → 논문 읽기

다중 모드 및 특수 모델

• Masked Autoencoders에 대한 패치 의존성 재검토 : 향상된 이미지 처리를 위해 Masked Autoencoder의 디코딩 메커니즘을 조사합니다 . → 논문 읽기
• MM-LLM : 다중 모드 대형 언어 모델의 발전과 기능에 대한 포괄적인 조사 → 논문 읽기
• CMMMU : 중국 상황에서 대규모 다중 모드 모델을 평가하기 위한 벤치마크 설정 → 논문 읽기
• SpatialVLM : 고급 공간 추론 기능으로 비전 언어 모델을 강화합니다 . → 논문 읽기

AI 훈련 및 데이터 생성 기술

• 보편적인 예측기 학습 : 보편적인 예측 전략을 위한 훈련 신경망을 탐색하고 솔로몬오프 유도에 접근 → 논문 읽기
• Unitxt : 생성적 NLP에서 유연하고 재현 가능한 데이터 준비를 위한 Python 라이브러리 → 논문 읽기
• GENIE : 대규모 언어 모델을 사용하여 고품질의 내용 기반 합성 데이터를 생성하는 방법 → 논문 읽기
• MambaByte : 원시 바이트에서 직접 학습하는 토큰 없는 언어 모델 조사 → 논문 읽기
• Meta-Prompting : 더 나은 성능을 위해 작업에 구애받지 않는 스캐폴딩 기술로 언어 모델을 향상시킵니다 . → 논문 읽기
• WARM : 강화 학습에서 대규모 언어 모델을 인간 선호도에 맞추는 접근 방식 → 논문 읽기

언어 모델과 역할극

• Small Language Model Meets with Reinforced Vision Vocabulary : 효율적인 시각 정보 인코딩을 위해 향상된 비전 어휘를 통합한 컴팩트 모델 제시 → 논문 읽기
• 대형 언어 모델은 모든 문자의 중첩입니다 : 대형 언어 모델을 사용하여 역할극 대화를 위한 방법 개발 → 논문 읽기
• Orion-14B : 대화 응용 프로그램을 위한 다국어 대형 언어 모델 컬렉션 소개 → 논문 읽기

다른 뉴스레터에서는

• Hardcore Software 에서 Apple의 "유럽 연합에 배포된 앱 업데이트"에 대해 자세히 알아보세요.
• 모델 병합에 대해 Interconnects 에서 재미있게 읽음 "순수한 LLM 흑마술처럼 보이는 것이 문헌에서 지원되는 경우"
• 올해는 애플이 AI에서 깨어나는 해인가? 마드로나 투자자들의 의견.
• Andrew Ng는 다보스와 세계 경제 포럼에서의 경험을 설명합니다. AI에 관한 것이지만 Ng의 대표적인 인본주의적 스타일입니다.