Математическое рассуждение уже давно является сложной задачей для искусственного интеллекта. Хотя языковые модели, такие как   и ChatGPT, достигли впечатляющих результатов при выполнении многих языковых задач, им все еще трудно точно решать сложные математические задачи университетского уровня. Освоение сложных математических рассуждений может открыть возможности применения ИИ в различных областях, таких как наука, инженерное дело, финансы и т. д. GPT-3  Недавно исследователи из Университета Цинхуа и   добились значительного прогресса в укреплении навыков математического рассуждения при работе с большими языковыми моделями. Их ключевые технические инновации (  ) интегрирует внешние математические инструменты, такие как вычислительные библиотеки и средства решения символьных уравнений, непосредственно в процесс рассуждения моделей. Microsoft   представлено здесь  Давайте посмотрим, как это работает!  Проблема: почему математика остается сложной для языковых моделей  Такие задачи, как числовые вычисления и базовая алгебра, можно достаточно хорошо решать с помощью существующих моделей. Однако решение сложных математических задач, включающее многоэтапный вывод, символические манипуляции и абстрактные концепции, остается проблематичным.  Например, модели часто не могут решить задачи по алгебре со словами, которые требуют идентификации переменных, создания систем уравнений и математической формализации отношений, описанных устно в тексте. Геометрия создает проблемы из-за необходимости навыков пространственного мышления. Математические упражнения в средней школе и университете также знакомят с такими понятиями, как доказательства, интегралы, матрицы и т. д., которые запутывают существующие языковые модели.   Исследователи объясняют эти трудности двумя основными факторами:    . Сегодня языковые модели обучаются в основном на текстовых корпусах Интернета. Хотя это обучает лингвистическим навыкам, оно не дает структурированных знаний и логики, необходимых для математических рассуждений. Отсутствие способностей к абстрактному мышлению    : языку не хватает строгости и точности, необходимых для манипулирования математическими символами. Модели могут допускать небольшие ошибки на каждом этапе, которые накапливаются в результате многоэтапных задач. Неспособность выполнять символьные вычисления  Инструментально-интегрированное мышление: новая парадигма обучения  Чтобы решить эти проблемы, исследователи предлагают обучать языковым моделям рассуждения в формате, который они называют   . Ключевым нововведением является чередование логических обоснований, генерируемых моделью, с кодом для вызова внешних математических инструментов. инструментально-интегрированным рассуждением  Например, для сложной алгебраической задачи со словами модель может сначала описать подход словами, затем написать программу Python с использованием SymPy для символической настройки системы уравнений, выполнить ее для получения решения и, наконец, объяснить результат устно.  Это дополняет сильные стороны языковых моделей в рассуждениях и планировании высокого уровня с точностью и вычислительной мощью математических инструментов. Они ожидают, что это может значительно улучшить способность моделей решать проблемы, требующие как семантического понимания, так и символических манипуляций.  Методика обучения: имитация обучения на примерах взаимодействия с инструментами  Чтобы реализовать это видение, исследователям сначала пришлось создать набор данных, демонстрирующий интегрированные инструменты решения математических задач. Они использовали возможности GPT-3 для автоматического создания 16 000 примеров того, как сам GPT-3 решает проблемы из наборов данных GSM8k и MATH, взаимодействуя с такими инструментами, как SymPy.  Используя этот набор траекторий взаимодействия инструментов, команда предварительно обучила версии модели LLaMA, используя имитационное обучение. То есть модели были обучены прогнозировать поведение использования инструмента и чередовать обоснования на естественном языке, продемонстрированные в наборе данных.  Этот подход позволил создать серию интегрированных     с открытым     (TORA) с диапазоном от 7 до 70 миллиардов параметров. аналитических агентов исходным кодом  Значительное улучшение производительности математических рассуждений  Исследователи систематически оценивали модели TORA на 10 различных наборах данных математических рассуждений и сравнивали производительность с предыдущими современными методами.  Результаты показывают, что обучение рассуждению, интегрированное с инструментами, дает существенные преимущества при различных размерах моделей и задачах:  Модели TORA в среднем достигают   по сравнению с лучшими существующими моделями с открытым исходным кодом. точности на 13–19% выше  В сложном математическом тесте соревновательного уровня (набор данных MATH) TORA-7B показал   , превзойдя предыдущую лучшую модель на 22 процентных пункта. точность 40 %  TORA-34B достиг   по математике, превзойдя производительность GPT-4 на 43% при решении тех же задач. точности 51%  Это говорит о том, что обучение использованию внешних инструментов может значительно улучшить математические рассуждения даже очень больших моделей, таких как GPT-4.  Интересно, что улучшения были одинаковыми для различных типов задач, охватывающих арифметику, алгебру, исчисление, геометрию, вероятность и т. д. Интеграция инструментов, по-видимому, дает широкие преимущества.  Анализ показывает взаимодополняющие сильные стороны языка и инструментов  Чтобы лучше понять поведение модели, исследователи систематически анализировали модели использования инструментов в различных математических областях:  Для задач алгебры в моделях преимущественно использовались символьные инструменты, такие как SymPy, для управления уравнениями. Это хорошо согласовывалось с необходимостью строгих и точных символических вычислений.  В числовых областях, таких как вероятность, модели в большей степени полагались на алгоритмы вычислений, такие как факториалы.  В геометрии применение инструментов дало меньший выигрыш, что указывает на то, что пространственное мышление остается проблемой.  Они также оценили абляцию, устраняющую либо обоснование естественного языка, либо интеграцию инструментов:  Взаимодействие с инструментами неизменно превосходило модели, использующие только программирование или только естественный язык для всех типов задач.  Rationales обеспечил наибольшую выгоду для геометрии, алгебры и предварительного исчисления — областей, требующих планирования и рассуждений высокого уровня.  Эти идеи проливают свет на взаимодополняющие сильные стороны как лингвистического, так и символического рассуждения.  Ограничения и открытые проблемы  Несмотря на преимущества от интеграции инструментов, остаются значительные возможности для улучшения. Исследователи определили геометрию и сложную алгебру как области, в которых модели все еще испытывают трудности.  Геометрия представляет собой проблему, поскольку современные инструменты, такие как SymPy, имеют ограниченные возможности пространственного мышления. В этом могут помочь достижения в области мультимодальных рассуждений и более тесная интеграция с графическими библиотеками.  Для абстрактной алгебры могут потребоваться методы, используемые математиками-людьми, такие как использование известных теорем и решение задач в обратном порядке от результата. Вероятно, также потребуются более сильные способности к символическому рассуждению.  В целом, это исследование предоставляет многообещающие доказательства того, что сочетание сильных сторон языковой модели со специализированными внешними инструментами может заметно улучшить математические рассуждения. Однако эффективная интеграция различных модальностей рассуждения и стратегий решения математических задач более высокого уровня остается открытой проблемой. Это важные направления будущей работы.  Представленная здесь парадигма обучения, интегрированного с инструментами, также может стимулировать исследование интеграции внешних возможностей для улучшения рассуждений в таких дисциплинах, как логика, здравое рассуждение и искусство. Это может стать важным шагом на пути к более функциональным и универсальным системам искусственного интеллекта.  Также опубликовано  здесь.

This story contains new, firsthand information uncovered by the writer.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

Изучение инструментально-интегрированного рассуждения: инновационные программы LLM для владеющих математикой

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Telegram: мост Крипто-острова на материк

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Telegram: мост Крипто-острова на материк

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps