Последний инструмент искусственного интеллекта Apple может анимировать изображение на основе вашего описания

Apple описывает эту инновационную технологию в новой исследовательской работе под названием "Keyframer: Empowering Animation Design Using Large Language Models".

В то время как одноразовые интерфейсы являются обычными интерфейсами для передачи текста в изображение, таких как Dall·E и Midjourney, мы утверждаем, что анимация требует более сложного набора пользовательских соображений, таких как время и координация, которые трудно полностью указать в одной подсказке - таким образом, могут потребоваться альтернативные подходы, которые позволяют пользователям итеративно создавать и дорабатывать сгенерированные проекты, особенно для анимации.

"Мы объединили новые принципы проектирования для языкового запроса артефактов дизайна с возможностями генерации кода LLM для создания нового инструмента анимации на базе искусственного интеллекта под названием Keyframer. С помощью Keyframer пользователи могут создавать анимированные иллюстрации из статических 2D-изображений с помощью подсказок на естественном языке. Используя GPT-4 3, Keyframer генерирует код анимации CSS для анимации входной масштабируемой векторной графики (SVG).

Чтобы создать анимацию, пользователь загружает SVG-изображение (например, космическую ракету) и вводит такие подсказки, как "Создайте три дизайна с небом, переливающимся разными цветами и мерцающими звездами". Затем Keyframer генерирует анимированный CSS-код, который пользователь может доработать, отредактировав код напрямую или введя дополнительные текстовые подсказки.

"Keyframer, - объясняют авторы, - позволяет пользователям итеративно улучшать дизайн с помощью последовательных подсказок, а не изучать весь дизайн заранее". С помощью этого исследования авторы надеются вдохновить будущие инструменты для создания анимации, которые сочетают мощные генеративные функции LLM для ускорения создания прототипов дизайна с динамическим редактором, позволяющим авторам сохранять творческий контроль".

Согласно статье, исследование основано на интервью с профессиональными дизайнерами и инженерами-аниматорами. Я думаю, что это было намного быстрее, чем многие вещи, которые я делал раньше, - сказал один из них." Раньше, я думаю, на подобное уходили часы".

Эта инновация - лишь последняя в череде прорывов Apple в области искусственного интеллекта. На прошлой неделе исследователи Apple представили модель искусственного интеллекта, которая использует возможности мультимодальных LLM для внесения попиксельных изменений в изображения.

В конце декабря Apple также объявила об изобретении инновационной технологии флэш-памяти и достижении прогресса в развертывании LLM в iPhone и других устройствах Apple с ограниченным объемом памяти.

По данным The Information и аналитика Джеффа Пу, Apple планирует внедрить в iPhone и iPad генеративный искусственный интеллект в той или иной форме после выхода iOS 18 в конце этого года, сообщает корреспондент Bloomberg Марк Гарман. По слухам, следующая версия мобильного ПО Apple будет включать улучшенную Siri с функциями генеративного искусственного интеллекта, аналогичными ChatGPT, что может стать "самым большим" обновлением в истории iPhone.