FOD#38: A IA pode estar nos conduzindo a uma nova era de monitoramento da saúde

Na segunda-feira passada, uma enfermeira sugeriu que experimentássemos um monitor sem fio para monitorar meus sinais vitais e os do meu bebê ainda não nascido.

“Chamamos esse dispositivo de “Monica, o monitor!” Trabalhar com isso é um sonho ou um pesadelo total”, disse-me a enfermeira.

Naquele dia, “Monica” (na verdade, o Novii Wireless Patch System) teve um desempenho excepcionalmente bom. Consegui me movimentar livremente, sem o peso dos fios, durante o parto da minha filha. Esta tecnologia aproveita a aquisição passiva de sinais para diferenciar entre sinais cardíacos fetais e maternos e para detectar contrações uterinas. Os dados são transmitidos sem fio para uma unidade de monitoramento para observação em tempo real. Este sistema aumenta a precisão e reduz alarmes falsos, oferecendo a mobilidade necessária durante o trabalho de parto.

Pensei: escrever e teorizar sobre tecnologias é uma coisa, mas experimentar em primeira mão suas notáveis capacidades é outra bem diferente, especialmente quando um dispositivo funciona perfeitamente. Surgiu uma questão: o que os modelos básicos podem acrescentar aos wearables? Logo após minha experiência com “Monica”, um artigo recente do Google Research e de pesquisadores do MIT chamou minha atenção. Intitulado ' Health-LLM: Large Language Models for Health Prediction via Wearable Sensor Data ', e de autoria de Kim et al., este artigo investiga a aplicação de LLMs no setor de saúde, com foco na interpretação de dados de sensores vestíveis para previsão de saúde. Curiosamente, esses modelos são alimentados com dados não de registros médicos ou anotações médicas, mas de dispositivos vestíveis como Fitbits, que monitoram passos diários, frequência cardíaca, padrões de sono e muito mais – semelhante a ‘Monica’.

A pesquisa avaliou oito LLMs de ponta: Med-Alpaca, PMC-Llama, Asclepius, ClinicalCamel, Flan-T5, Palmyra-Med, GPT-3.5 e GPT-4, em seis conjuntos de dados de saúde pública. Eles conduziram experimentos em treze tarefas de previsão de saúde relacionadas à saúde mental, atividade, metabolismo, sono e avaliações cardíacas.

A equipe experimentou vários métodos, incluindo prompt zero e poucos disparos (ensinando o modelo com o mínimo ou nenhum exemplo), ajuste fino instrucional (adaptando o modelo para tarefas específicas) e até mesmo alguns ajustes finos com eficiência de parâmetros para eficiência computacional.

Particularmente fascinante é a eficácia do aprimoramento do contexto nos prompts, que envolve adicionar contexto do usuário, conhecimento de saúde e informações temporais. Essa abordagem rendeu uma melhoria de 23,8% no desempenho.

A saúde é um campo extremamente sensível, mas os benefícios potenciais da IA generativa para os humanos são imensos, especialmente com o poder dos modelos básicos. Health-LLM explora o futuro onde os wearables não são apenas rastreadores passivos, mas também guardiões proativos da saúde.

Outro artigo inovador recente na área da saúde vem de pesquisadores de Stanford e Stability AI, intitulado CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation . O aspecto mais fascinante deste artigo é o desenvolvimento do CheXagent, um modelo básico avançado projetado especificamente para a interpretação de radiografias de tórax. Este modelo combina exclusivamente um LLM clínico, um codificador de visão especializado e uma rede de ponte visão-linguagem, demonstrando desempenho excepcional na interpretação de imagens médicas complexas. Sua capacidade de superar os modelos existentes em avaliações de precisão e imparcialidade marca um avanço significativo na tecnologia de IA de imagens médicas. Isso pode economizar muito tempo! E possivelmente vive.

(A menina recém-nascida — Reason Leeloo Joy — manda lembranças. Tiramos uma semana de folga na semana passada, mas agora estamos de volta aos trilhos, explorando o mundo da IA para entender como ela e seus quatro irmãos viverão nele e navegarão nele.)

Notícias dos suspeitos do costume ©

Sam Altman e OpenAI

• A OpenAI lançou dois novos modelos de incorporação (text-embedding-3-small e text-embedding-3-large) e versões atualizadas do GPT-4 Turbo, GPT-3.5 Turbo e um modelo de moderação de texto. Os novos modelos de incorporação representam conteúdo como sequências numéricas, aprimorando tarefas de aprendizado de máquina, como agrupamento ou recuperação. Eles também são mais eficientes e econômicos.
• Enquanto isso, Sam Altman está em negociações com financiadores do Oriente Médio, incluindo investidores ricos e fabricantes de chips como a TSMC, para lançar um novo empreendimento de chips. Esta mudança visa atender às crescentes necessidades de semicondutores da OpenAI e reduzir a dependência da Nvidia. A estrutura do empreendimento não é clara e pode ser uma entidade separada ou uma subsidiária da OpenAI.

Blackstone entra em cena

• Outro grande player está investindo pesadamente na revolução da IA. A Blackstone está construindo uma rede de data centers com uso intensivo de energia no valor de US$ 25 bilhões em toda a América. Após a aquisição da QTS, uma importante operadora de data center, por US$ 10 bilhões, a Blackstone está desenvolvendo instalações enormes para atender às crescentes demandas digitais e de IA dos gigantes da tecnologia. Estes projectos, que consomem electricidade equivalente a milhões de casas, estão a remodelar comunidades e a desencadear debates sobre a utilização de recursos e benefícios locais. Apesar dos desafios, incluindo fontes de energia sobrecarregadas e reações públicas, a Blackstone vê este empreendimento como um dos seus melhores investimentos potencialmente, ilustrando a crescente importância e complexidade da infraestrutura de dados na era da IA.

Elon Musk, xAI e Tesla

• Elon Musk tem estado nas manchetes recentemente, buscando um investimento de US$ 6 bilhões para xAI de investidores globais no Oriente Médio, Hong Kong, Japão e Coréia. Se for bem-sucedida, a avaliação da xAI poderá atingir US$ 20 bilhões, ultrapassando os US$ 18,4 bilhões da Anthropic, mas ficando atrás dos US$ 100 bilhões da OpenAI. No entanto, a recente ameaça de Musk de remover os projetos de IA da Tesla, a menos que ele garanta o controle de 25%, despertou a insatisfação entre os investidores atuais e pode afetar as negociações com potenciais novos financiadores. Enquanto isso, a Tesla está planejando um investimento de US$ 500 milhões em um supercomputador “Dojo” em suas instalações em Buffalo, Nova York, ressaltando o compromisso da empresa com o avanço da tecnologia de IA.

Google e o rosto do abraço

• A parceria recentemente anunciada entre Hugging Face e Google Cloud visa tornar a IA mais acessível. Ele se concentra em iniciativas compartilhadas em ciência e código aberto, aproveitando os modelos abertos do Hugging Face e a tecnologia do Google Cloud. O objetivo é facilitar o desenvolvimento de tecnologias de IA para uma gama mais ampla de usuários e aplicações.
• Enquanto isso, o Google Bard ascendeu para a segunda posição no ranking Chatbot Arena do HuggingFace, ultrapassando o GPT-4 e agora apenas atrás do GPT-4 Turbo nas classificações LLM conduzidas pela comunidade.

Os artigos de pesquisa mais recentes, categorizados para sua conveniência

Compressão e eficiência do modelo

• SLICEGPT : Uma técnica para compactar com eficiência modelos de linguagem grandes, removendo parâmetros e mantendo o desempenho → leia o artigo
• DeepSeek-Coder : concentra-se no desenvolvimento de modelos de geração de código multilíngue e de alto desempenho com uma ampla gama de parâmetros → leia o artigo
• SPACTOR-T5 : Introduz um método eficiente de pré-treinamento para modelos T5, reduzindo os requisitos computacionais →leia o artigo
• MEDUSA : Uma estrutura para acelerar a inferência de modelos de linguagem grande usando vários cabeçotes de decodificação → leia o artigo

Capacidades e avaliação do LLM

• Do GPT-4 ao Gemini e além : avalia MLLMs quanto à generalização, confiabilidade e causalidade em múltiplas modalidades → leia o artigo
• MaLA-500 : Desenvolve um LLM multilíngue com suporte para mais de 500 idiomas, melhorando a acessibilidade do modelo de idioma →leia o artigo
• Identificando LLMs com binóculos : apresenta um método para detecção zero-shot de texto gerado por grandes modelos de linguagem → leia o artigo

Modelos Multimodais e Especializados

• Repensando a dependência de patch para codificadores automáticos mascarados : examina o mecanismo de decodificação em codificadores automáticos mascarados para melhorar o processamento de imagens → leia o artigo
• MM-LLMs : Uma pesquisa abrangente sobre os avanços e capacidades de modelos multimodais de grandes linguagens → leia o artigo
• CMMMU : Estabelece uma referência para avaliar grandes modelos multimodais no contexto chinês →leia o artigo
• SpatialVLM : aprimora modelos de linguagem de visão com recursos avançados de raciocínio espacial →leia o artigo

Treinamento em IA e técnicas de geração de dados

• Aprendendo Preditores Universais : Explora redes neurais de treinamento para estratégias de predição universais, aproximando-se da Indução de Solomonoff → leia o artigo
• Unitxt : uma biblioteca Python para preparação de dados flexível e reproduzível em PNL generativa →leia o artigo
• GENIE : Um método para gerar dados sintéticos de alta qualidade baseados em conteúdo usando grandes modelos de linguagem →leia o artigo
• MambaByte : investiga um modelo de linguagem sem token que aprende diretamente a partir de bytes brutos → leia o artigo
• Meta-Prompting : aprimora os modelos de linguagem com uma técnica de andaime independente de tarefas para melhor desempenho → leia o artigo
• WARM : Uma abordagem para alinhar grandes modelos de linguagem com preferências humanas na aprendizagem por reforço → leia o artigo

Modelos de Linguagem e Role-Playing

• Modelo de linguagem pequena encontra vocabulário de visão reforçado : apresenta um modelo compacto que integra vocabulário de visão aprimorado para codificação eficiente de informações visuais → leia o artigo
• Grandes modelos de linguagem são superposições de todos os personagens : Desenvolve um método para dramatização de diálogos usando grandes modelos de linguagem → leia o artigo
• Orion-14B : apresenta uma coleção de modelos multilíngues de grandes idiomas para aplicações de conversação → leia o artigo

Em outros boletins informativos

• Grande mergulho na “Atualização sobre aplicativos distribuídos na União Europeia” da Apple da Hardcore Software
• Leitura divertida de Interconnects sobre fusão de modelos “Quando o que parece ser pura magia negra LLM é apoiado pela literatura”
• Este é o ano em que a Apple desperta na IA? Opinião dos investidores da Madrona.
• Andrew Ng descreve sua experiência em Davos e no Fórum Econômico Mundial. É sobre IA, mas no estilo humanístico característico de Ng.