Apple выпустила фантастическую языковую модель с открытым исходным кодом (LLM) под названием OpenELM (Open-source Efficient Language Models), предназначенную для работы на устройствах, а не на облачном сервере. Оно было опубликовано в Hugging Face Hub, сообществе для обмена кодом искусственного интеллекта.
Как описано в официальном документе, OpenELM имеет восемь моделей, четыре из которых предварительно обучены с использованием библиотеки CoreNet, а четыре настроены с помощью инструкций. Apple использует стратегию многоуровневого масштабирования, направленную на повышение точности и эффективности.
Apple предоставляет код, журналы обучения и несколько выпусков вместе с окончательными обученными моделями, что, как надеются исследователи проекта, обеспечит более быстрый прогресс и «более надежные результаты» в области искусственного интеллекта на естественном языке.
OpenELM, усоведная модель открытого языка. OpenELM использует стратегию многоуровневого масштабирования для эффективного распределения параметров в каждом слое модели трансформатора, что приводит к повышению точности. Например, с бюджетом параметров примерно в один миллиард параметров OpenELM демонстрирует улучшение точности на 2,36% по сравнению с OLMo, требуя в 2 раза меньше предварительных токенов.
Отходя от предыдущих практик, которые предоставляют только вес модели и код вывода, а также предварительное обучение по частным наборам данных, наш выпуск включает в себя полную основу для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и предтренировочные конфигурации.
По словам Apple, модель OpenELM публикуется с целью «расширить и обогатить открытое исследовательское сообщество» новейшими языковыми моделями. Обмен моделями с открытым исходным кодом дает исследователям возможность изучить риски, данные и предвзятости моделей. Разработчики и компании могут использовать или изменять модели как есть.
Совместное использование открытого исходного кода стало для Apple важным инструментом привлечения талантливых инженеров, ученых и экспертов. Это связано с тем, что он дает возможность публиковать исследовательские работы, которые обычно не публикуются в соответствии с политикой конфиденциальности Apple.
Хотя Apple еще предстоит внедрить такого рода функции искусственного интеллекта в свои устройства, ожидается, что iOS 18 будет включать в себя ряд новых функций искусственного интеллекта, и ходят слухи, что Apple планирует запустить на устройстве крупномасштабные языковые модели в целях конфиденциальности.
