Arize AI , платформа для оценки возможностей искусственного интеллекта и больших языковых моделей (LLM), на этой неделе запустила оперативный мониторинг и анализ переменных на сцене Google Cloud Next '24.
Дебют происходит в момент большой нужды. Хотя предприятия стремятся внедрить базовые модели, чтобы оставаться конкурентоспособными в мире, в котором все больше внимания уделяется искусственному интеллекту, галлюцинации и точность ответов остаются препятствиями для развертывания производства.
Новый мониторинг переменных подсказок от Arize помогает инженерам искусственного интеллекта и группам машинного обучения автоматически обнаруживать ошибки в переменных подсказок и выявлять проблемные наборы данных. Путем самоанализа и уточнения подсказок, используемых в приложениях на базе LLM, команды могут гарантировать, что полученные результаты соответствуют ожиданиям в отношении таких показателей, как точность, релевантность и правильность. Дополнительные инструменты управления контекстными окнами, которые также будут запущены сегодня, позволят провести дальнейшее изучение.
«Отладка систем LLM сегодня слишком болезненна», — говорит Джейсон Лопатецки, генеральный директор и соучредитель Arize AI. «Анализируя, как системы искусственного интеллекта реагируют на множество подсказок, и предлагая более глубокое понимание поведения модели, новые инструменты анализа переменных подсказок Arize обещают помочь инженерам искусственного интеллекта добиться более успешных результатов в производстве — с помощью циклов обучения и обратной связи, которые будут способствовать постоянному совершенствованию».
Arize AI — это платформа для наблюдения за ИИ и оценки LLM, которая помогает командам создавать и поддерживать более успешный ИИ в производстве. Платформа автоматического мониторинга и наблюдения Arize позволяет командам быстро обнаруживать проблемы при их возникновении, устранять причины их возникновения и повышать общую производительность как в традиционных сценариях машинного обучения, так и в генеративных сценариях использования, таких как RAG LLM . Штаб-квартира Arize находится в Беркли, Калифорния.