Apple представила новый ИИ, который может превзойти ChatGPT 4

Исследователи Apple разработали систему искусственного интеллекта под названием ReALM (Reference Resolution as Language Modeling), которая призвана радикально улучшить то, как голосовые помощники понимают и реагируют на команды.

В исследовательском документе (через VentureBeat) Apple описывает новую систему, которая представляет собой крупномасштабную языковую модель, решающую проблему разрешения ссылок. Разрешение ссылок включает в себя декодирование неоднозначных ссылок на объекты на экране, а также понимание контекста разговора и фона. В результате ReALM обеспечивает более интуитивное и естественное взаимодействие с устройством.

Расшифровка ссылок - важная часть понимания естественного языка, позволяющая пользователям использовать местоимения и другие косвенные ссылки в разговоре без путаницы. Для цифровых помощников эта способность исторически была серьезной проблемой, ограниченной необходимостью интерпретировать широкий спектр лингвистических подсказок и визуальной информации. Система ReALM от Apple пытается решить эту проблему, преобразуя сложный процесс разрешения ссылок в задачу чисто лингвистического моделирования. При этом она способна понимать ссылки на визуальные элементы, отображаемые на экране, и интегрировать это понимание в ход разговора.

ReALM использует текстовые представления для реконструкции визуальной схемы экрана. Для этого необходимо проанализировать экранные объекты и их расположение, чтобы создать текстовый формат, отражающий содержание и структуру экрана. Исследователи Apple обнаружили, что эта стратегия в сочетании со специальной тонкой настройкой языковой модели для задачи разрешения ссылок значительно превосходит традиционные методы, включая функцию GPT-4 от OpenAI.

ReALM может позволить пользователям гораздо эффективнее взаимодействовать с цифровыми помощниками, ссылаясь на то, что находится в данный момент на экране, не требуя точных и подробных инструкций. Это может сделать голосовых помощников более полезными в различных ситуациях, например, помогая водителям ориентироваться в информационно-развлекательных системах во время вождения или помогая пользователям с ограниченными возможностями, предоставляя более простые и точные средства непрямого взаимодействия.

В настоящее время Apple публикует несколько научных работ по искусственному интеллекту. В прошлом месяце компания объявила о новом методе обучения крупномасштабных языковых моделей, которые легко интегрируют как текстовую, так и визуальную информацию. Ожидается, что Apple анонсирует ряд функций искусственного интеллекта на WWDC в июне.