FOD № 38: ИИ может открыть нам новую эру мониторинга здоровья

В прошлый понедельник медсестра предложила попробовать беспроводной монитор, чтобы отслеживать жизненные показатели меня и моего будущего ребенка.

«Мы называем это устройство «Моника, монитор!» Это либо мечта работать, либо полный кошмар», — сказала мне медсестра.

В тот день «Моника» (на самом деле Novii Wireless Patch System) показала себя исключительно хорошо. Я могла свободно передвигаться, без обременения проводов, пока рожала дочь. Эта технология использует пассивный сбор сигналов, чтобы различать сигналы сердца плода и матери и обнаруживать сокращения матки. Данные передаются по беспроводной сети на блок мониторинга для наблюдения в режиме реального времени. Эта система повышает точность и снижает количество ложных срабатываний, обеспечивая столь необходимую мобильность во время родов.

Я подумал: писать и теоретизировать о технологиях — это одно, а испытать их замечательные возможности на собственном опыте — совсем другое, особенно когда устройство работает безупречно. Возник вопрос: что могут добавить модели тонального крема к носимым устройствам? Сразу после моего опыта с «Моникой» мое внимание привлекла недавняя статья исследователей Google Research и Массачусетского технологического института. Эта статья под названием « Health-LLM: большие языковые модели для прогнозирования здоровья с помощью данных носимых датчиков », автором которой являются Ким и др., углубляется в применение LLM в секторе здравоохранения, уделяя особое внимание интерпретации данных от носимых датчиков для прогнозирования здоровья. Любопытно, что эти модели получают данные не из медицинских записей или записей врача, а из носимых устройств, таких как Fitbits, которые отслеживают ежедневные шаги, частоту сердечных сокращений, режим сна и многое другое — что-то вроде «Моники».

В ходе исследования были оценены восемь передовых LLM: Med-Alpaca, PMC-Llama, Asclepius, ClinicalCamel, Flan-T5, Palmyra-Med, GPT-3.5 и GPT-4 в шести наборах данных общественного здравоохранения. Они провели эксперименты по тринадцати задачам по прогнозированию здоровья, связанным с психическим здоровьем, активностью, обменом веществ, сном и оценкой сердечной деятельности.

Команда экспериментировала с различными методами, включая подсказки с нулевым и малым количеством шагов (обучение модели на минимальном количестве примеров или без них), точную настройку обучения (адаптацию модели к конкретным задачам) и даже некоторую точную настройку с эффективными параметрами для вычислительная эффективность.

Особенно впечатляет эффективность улучшения контекста в подсказках, которое предполагает добавление пользовательского контекста, знаний о здоровье и временной информации. Этот подход позволил повысить производительность на 23,8%.

Здравоохранение — чрезвычайно чувствительная область, но потенциальные преимущества генеративного ИИ для людей огромны, особенно с учетом мощи базовых моделей. Health-LLM исследует будущее, в котором носимые устройства станут не просто пассивными трекерами, а активными стражами здоровья.

Еще одна новаторская статья в области здравоохранения, написанная Стэнфордом и исследователями искусственного интеллекта Stability, называется CheXagent: Towards a Foundation Model для интерпретации рентгенограмм грудной клетки . Самым интересным аспектом этой статьи является разработка CheXagent, усовершенствованной базовой модели, специально разработанной для интерпретации рентгенограмм грудной клетки. Эта модель уникальным образом сочетает в себе клинический LLM, специализированный зрительный кодер и мостовую сеть «зрение-язык», демонстрируя исключительную производительность при интерпретации сложных медицинских изображений. Его способность превосходить существующие модели в оценках точности и справедливости знаменует собой значительный прогресс в технологии искусственного интеллекта в области медицинских изображений. Это может сэкономить столько времени! И, возможно, живёт.

(Новорожденная девочка — Ризон Лилу Джой — передает привет. На прошлой неделе мы взяли недельный отпуск, но сейчас вернулись в нужное русло, изучая мир искусственного интеллекта, чтобы понять, как она и ее четыре брата будут жить в нем и ориентироваться в нем.)

Новости из сериала «Обычные подозреваемые» ©

Сэм Альтман и OpenAI

• OpenAI выпустила две новые модели внедрения (text-embedding-3-small и text-embedding-3-large), а также обновленные версии GPT-4 Turbo, GPT-3.5 Turbo и модель модерации текста. Новые модели внедрения представляют контент в виде числовых последовательностей, улучшая задачи машинного обучения, такие как кластеризация или поиск. Они также более эффективны и экономичны.
• Тем временем Сэм Альтман ведет переговоры со сторонниками на Ближнем Востоке, включая богатых инвесторов и производителей чипов, таких как TSMC, о запуске нового предприятия по производству чипов. Этот шаг направлен на удовлетворение растущих потребностей OpenAI в полупроводниках и снижение зависимости от Nvidia. Структура предприятия неясна, и это может быть отдельная организация или дочерняя компания OpenAI.

Блэкстоун вступает в игру

• Еще один крупный игрок вкладывает значительные средства в революцию искусственного интеллекта. Blackstone строит сеть энергоемких центров обработки данных стоимостью 25 миллиардов долларов по всей Америке. После приобретения QTS, крупного оператора центров обработки данных, за 10 миллиардов долларов, Blackstone разрабатывает масштабные мощности для удовлетворения растущих потребностей технологических гигантов в области цифровых технологий и искусственного интеллекта. Эти проекты, потребляющие электроэнергию, эквивалентную миллионам домов, меняют общины и вызывают дебаты по поводу использования ресурсов и местных выгод. Несмотря на проблемы, в том числе перенапряжение в электроснабжении и негативную реакцию общественности, Blackstone рассматривает это предприятие как одну из потенциально лучших инвестиций, иллюстрирующую растущую значимость и сложность инфраструктуры данных в эпоху искусственного интеллекта.

Илон Маск, xAI и Tesla

• В последнее время Илон Маск попал в заголовки газет, добиваясь инвестиций в xAI в размере 6 миллиардов долларов от глобальных инвесторов на Ближнем Востоке, в Гонконге, Японии и Корее. В случае успеха оценка xAI может достичь 20 миллиардов долларов, превысив оценку Anthropic в 18,4 миллиарда долларов, но уступив OpenAI в 100 миллиардов долларов. Однако недавняя угроза Маска закрыть проекты искусственного интеллекта Tesla, если он не получит 25% контроля, вызвала недовольство среди нынешних инвесторов и может повлиять на переговоры с потенциальными новыми спонсорами. Тем временем Tesla планирует инвестировать 500 миллионов долларов в суперкомпьютер «Dojo» на своем предприятии в Буффало, штат Нью-Йорк, что подчеркивает приверженность компании развитию технологий искусственного интеллекта.

Google и обнимающее лицо

• Недавно объявленное партнерство между Hugging Face и Google Cloud направлено на то, чтобы сделать искусственный интеллект более доступным. Он фокусируется на общих инициативах в области открытой науки и исходного кода, используя как открытые модели Hugging Face, так и технологии Google Cloud. Цель — облегчить разработку технологий искусственного интеллекта для более широкого круга пользователей и приложений.
• Между тем, Google Bard поднялся на вторую позицию в таблице лидеров Chatbot Arena от HuggingFace, обогнав GPT-4 и теперь уступая только GPT-4 Turbo в рейтинге LLM, управляемом сообществом.

Самые свежие научные статьи, разбитые по категориям для вашего удобства.

Сжатие модели и эффективность

• SLICEGPT : метод эффективного сжатия больших языковых моделей путем удаления параметров с сохранением производительности →прочитайте статью
• DeepSeek-Coder : фокусируется на разработке высокопроизводительных многоязычных моделей генерации кода с обширным диапазоном параметров →прочитайте статью.
• SPACTOR-T5 : представляет эффективный метод предварительного обучения для моделей T5, снижающий вычислительные требования →прочитайте статью
• MEDUSA : Платформа для ускорения вывода больших языковых моделей с использованием нескольких головок декодирования →прочитайте статью

Возможности LLM и оценка

• От GPT-4 до Близнецов и далее : оценивает MLLM на предмет обобщаемости, достоверности и причинно-следственной связи в различных модальностях → прочитайте статью.
• MaLA-500 : разрабатывает многоязычную программу LLM, поддерживающую более 500 языков, повышающую доступность языковой модели →прочитайте статью.
• Обнаружение LLM с помощью бинокля : представляет метод нулевого обнаружения текста, сгенерированного большими языковыми моделями →прочитайте статью

Мультимодальные и специализированные модели

• Переосмысление зависимости патчей для маскированных автоэнкодеров : исследуется механизм декодирования в маскированных автоэнкодерах для улучшения обработки изображений → прочитайте статью.
• MM-LLM : комплексный обзор достижений и возможностей мультимодальных моделей больших языков →прочитайте статью
• CMMMU : устанавливает эталон для оценки крупных мультимодальных моделей в контексте Китая →прочитайте статью
• SpatialVLM : расширяет возможности моделей на языке видения с помощью расширенных возможностей пространственного мышления →прочитайте статью.

Методы обучения искусственного интеллекта и генерации данных

• Изучение универсальных предикторов : изучает обучение нейронных сетей для универсальных стратегий прогнозирования, приближаясь к индукции Соломонова → прочитать статью
• Unitxt : библиотека Python для гибкой и воспроизводимой подготовки данных в генеративном НЛП →прочитайте статью
• GENIE : метод генерации высококачественных, основанных на содержании синтетических данных с использованием больших языковых моделей →прочитайте статью
• MambaByte : исследует языковую модель без токенов, которая обучается непосредственно на необработанных байтах → прочитайте статью.
• Мета-подсказки : Улучшает языковые модели с помощью метода построения каркасов, не зависящего от задачи, для повышения производительности → прочитайте статью.
• WARM : подход к согласованию больших языковых моделей с человеческими предпочтениями в обучении с подкреплением →прочитайте статью

Языковые модели и ролевые игры

• Модель малого языка сочетается с расширенным зрительным словарем : представляет собой компактную модель, объединяющую расширенный зрительный словарь для эффективного кодирования визуальной информации →прочитайте статью
• Большие языковые модели представляют собой суперпозиции всех символов : разрабатывает метод ролевых диалогов с использованием больших языковых моделей →прочитайте статью.
• Орион-14Б : представляет коллекцию многоязычных моделей большого языка для диалоговых приложений →прочитайте статью

В других новостях

• Отличное погружение в «Обновление приложений, распространяемых в Европейском Союзе» от Apple от Hardcore Software.
• Забавное чтение на сайте Interconnects о слиянии моделей: «Когда то, что кажется чистой черной магией LLM, поддерживается литературой»
• Это год, когда Apple пробуждает искусственный интеллект? Мнение инвесторов Мадроны.
• Эндрю Нг описывает свой опыт работы в Давосе и на Всемирном экономическом форуме. Речь идет об искусственном интеллекте, но в фирменном гуманистическом стиле Нг.