FOD#38：人工智能可能将我们带入健康监测的新时代

上周一，一位护士建议我们尝试使用无线监视器来追踪我和未出生婴儿的生命体征。

“我们称这个设备为“Monica，监视器！”这要么是一个工作梦想，要么就是一场噩梦，”护士告诉我。

那天，“Monica”（实际上是Novii无线跳线系统）表现异常出色。在生下女儿时，我可以自由活动，没有电线的束缚。该技术利用被动信号采集来区分胎儿和母亲的心脏信号并检测子宫收缩。数据无线传输至监控单元进行实时观察。该系统提高了准确性并减少了误报，提供了分娩期间急需的移动性。

我想：对技术进行写作和理论分析是一回事，但亲身体验其卓越的功能却是另一回事，尤其是当设备运行完美时。出现了一个问题：基础模型可以为可穿戴设备添加什么？就在我体验“莫妮卡”之后，谷歌研究中心和麻省理工学院研究人员最近发表的一篇论文引起了我的注意。本文题为“健康法学硕士：通过可穿戴传感器数据进行健康预测的大型语言模型”，由 Kim 等人撰写，深入探讨了法学硕士在健康领域的应用，重点是解释可穿戴传感器的数据以进行健康预测。有趣的是，这些模型输入的数据不是来自医疗记录或医生的笔记，而是来自 Fitbit 等可穿戴设备，这些设备可以跟踪每日步数、心率、睡眠模式等——类似于“莫妮卡”。

该研究评估了六个公共卫生数据集的八个前沿法学硕士：Med-Alpaca、PMC-Llama、Asclepius、ClinicalCamel、Flan-T5、Palmyra-Med、GPT-3.5 和 GPT-4。他们对与心理健康、活动、新陈代谢、睡眠和心脏评估相关的 13 项健康预测任务进行了实验。

该团队尝试了各种方法，包括零样本和少样本提示（用最少的例子或没有例子来教授模型）、指导性微调（根据特定任务定制模型），甚至是一些参数有效的微调计算效率。

特别令人着迷的是提示中上下文增强的有效性，其中涉及添加用户上下文、健康知识和时间信息。这种方法使性能提高了 23.8%。

医疗保健是一个极其敏感的领域，但生成式人工智能对人类的潜在好处是巨大的，特别是在基础模型的力量的帮助下。 Health-LLM 探索未来，可穿戴设备不再只是被动的追踪器，而是主动的健康守护者。

最近另一篇医疗保健领域的开创性论文来自斯坦福大学和 Stability AI 研究人员，题为CheXagent: Towards a Foundation Model for Chest X-Ray Interpretation 。本文最引人入胜的方面是 CheXagent 的开发，这是一种专门为解释胸部 X 射线而设计的先进基础模型。该模型独特地结合了临床法学硕士、专门的视觉编码器和视觉语言桥接网络，在解释复杂的医学图像方面展示了卓越的性能。其在准确性和公平性评估方面优于现有模型的能力标志着医学成像人工智能技术的重大进步。它可以节省很多时间！并且可能还活着。

（新生女婴 Reason Leeloo Joy 向她致以问候。上周我们休息了一周，但现在又回到正轨，探索人工智能世界，了解她和她的四个兄弟将如何生活并驾驭它。）

来自通常嫌疑人的新闻 ©

萨姆·奥尔特曼和 OpenAI

• OpenAI发布了两个新的嵌入模型（text-embedding-3-small 和 text-embedding-3-large）以及 GPT-4 Turbo、GPT-3.5 Turbo 和文本审核模型的更新版本。新的嵌入模型将内容表示为数字序列，增强了聚类或检索等机器学习任务。它们也更加高效且更具成本效益。
• 与此同时，山姆·奥尔特曼（Sam Altman）正在与中东支持者（包括富有的投资者和台积电等芯片制造商）讨论建立一家新的芯片企业。此举旨在满足 OpenAI 不断增长的半导体需求，并减少对 Nvidia 的依赖。该合资企业的结构尚不清楚，它可能是一个独立的实体，也可能是 OpenAI 的子公司。

黑石介入

• 另一个大玩家正在大力投资人工智能革命。 Blackstone 正在全美建设一个耗资 250 亿美元的电力密集型数据中心网络。在斥资 100 亿美元收购主要数据中心运营商 QTS 后，Blackstone 正在开发大型设施，以满足科技巨头不断增长的数字和人工智能需求。这些项目消耗的电力相当于数百万家庭的电力，正在重塑社区并引发有关资源利用和当地利益的辩论。尽管面临电力供应紧张和公众强烈反对等挑战，黑石集团仍将这项投资视为其潜在的最佳投资之一，这说明了人工智能时代数据基础设施的重要性和复杂性与日俱增。

埃隆·马斯克、xAI 和特斯拉

• 埃隆·马斯克 (Elon Musk) 最近成为头条新闻，他正在向中东、香港、日本和韩国的全球投资者寻求60 亿美元的投资。如果成功，xAI 的估值可能达到 200 亿美元，超过 Anthropic 的 184 亿美元，但落后于 OpenAI 的 1000 亿美元。然而，马斯克最近威胁称，除非他获得 25% 的控制权，否则他将取消特斯拉人工智能项目，这引起了当前投资者的不满，并可能影响与潜在新支持者的谈判。与此同时， 特斯拉计划投资 5 亿美元在纽约布法罗工厂投资 5 亿美元建设“Dojo”超级计算机，突显该公司致力于推进人工智能技术的承诺。

谷歌和拥抱脸

• Hugging Face 和 Google Cloud 最近宣布的合作伙伴关系旨在让人工智能变得更容易使用。它专注于开放科学和源代码的共享计划，利用 Hugging Face 的开放模型和 Google Cloud 的技术。目标是促进人工智能技术的开发，服务于更广泛的用户和应用。
• 与此同时，Google Bard 在 HuggingFace 的 Chatbot Arena 排行榜上升至第二位，超越了 GPT-4，现在在社区驱动的 LLM 排名中仅落后于 GPT-4 Turbo。

最新的研究论文，分类方便您使用

模型压缩和效率

• SLICEGPT ：一种通过删除参数同时保留性能来有效压缩大型语言模型的技术→阅读论文
• DeepSeek-Coder ：专注于开发具有广泛参数范围的高性能、多语言代码生成模型→阅读论文
• SPACTOR-T5 ：为 T5 模型引入了一种有效的预训练方法，减少了计算要求→阅读论文
• MEDUSA ：使用多个解码头加速大型语言模型推理的框架→阅读论文

法学硕士能力和评估

• 从 GPT-4 到 Gemini 及其他：跨多种模式评估 MLLM 的通用性、可信度和因果关系→阅读论文
• MaLA-500 ：开发支持 500 多种语言的多语言法学硕士，增强语言模型的可访问性→阅读论文
• 用双筒望远镜发现法学硕士：介绍一种对大型语言模型生成的文本进行零样本检测的方法→阅读论文

多式联运和专业模型

• 重新思考屏蔽自动编码器的补丁依赖性：检查屏蔽自动编码器中的解码机制以改进图像处理→阅读论文
• MM-LLM ：关于多模态大语言模型的进步和能力的全面调查→阅读论文
• CMMMU ：建立评估中国背景下的大型多模态模型的基准→阅读论文
• SpatialVLM ：通过先进的空间推理功能增强视觉语言模型→阅读论文

人工智能训练和数据生成技术

• 学习通用预测器：探索通用预测策略的训练神经网络，接近所罗门诺夫归纳→阅读论文
• Unitxt ：一个用于生成 NLP 中灵活且可重复的数据准备的 Python 库→阅读论文
• GENIE ：一种使用大型语言模型生成高质量、以内容为基础的合成数据的方法→阅读论文
• MambaByte ：研究直接从原始字节学习的无令牌语言模型→阅读论文
• 元提示：通过与任务无关的脚手架技术增强语言模型，以获得更好的性能→阅读论文
• WARM ：一种在强化学习中使大型语言模型与人类偏好保持一致的方法→阅读论文

语言模型和角色扮演

• 小语言模型与增强视觉词汇的结合：提出了一种集成增强视觉词汇的紧凑模型，以实现高效的视觉信息编码→阅读论文
• 大语言模型是所有角色的叠加：开发一种使用大语言模型进行角色扮演对话的方法→阅读论文
• Orion-14B ：引入了一系列用于会话应用的多语言大语言模型→阅读论文

在其他新闻通讯中

• 从Hardcore Software深入了解 Apple 的“在欧盟分发的应用程序的更新”
• 有趣地阅读Interconnects关于模型合并的内容“当看似纯粹的 LLM 黑魔法得到文献支持时”
• 今年是苹果在人工智能领域觉醒的一年吗？ Madrona 投资者的意见。
• 吴恩达描述了他在达沃斯和世界经济论坛的经历。这是关于人工智能的，但具有吴恩达标志性的人文风格。