Apple випустила фантастичну мовну модель з відкритим кодом (LLM) під назвою OpenELM (Open-source Efficient Language Models), призначену для роботи на пристроях, а не на хмарному сервері. Вона була опублікована в Hugging Face Hub, спільноті для обміну кодом штучного інтелекту.
Як описано в офіційному документі, OpenELM має вісім моделей, чотири з яких попередньо навчені з використанням бібліотеки CoreNet, а чотири налаштовані за допомогою інструкцій. Apple використовує стратегію багаторівневого масштабування, спрямовану на підвищення точності та ефективності.
Apple надає код, журнали навчання та кілька випусків разом із остаточними навченими моделями, що, як сподіваються дослідники проекту, забезпечить швидший прогрес та «надійніші результати» в галузі штучного інтелекту природною мовою.
OpenELM, усвідомлена модель відкритої мови. OpenELM використовує стратегію багаторівневого масштабування для ефективного розподілу параметрів у кожному шарі моделі трансформатора, що призводить до підвищення точності. Наприклад, з бюджетом параметрів приблизно один мільярд параметрів OpenELM демонструє поліпшення точності на 2,36% порівняно з OLMo, вимагаючи в 2 рази менше попередніх токенів.
Відходячи від попередніх практик, які надають лише вагу моделі та код виводу, а також попереднє навчання за приватними наборами даних, наш випуск включає повну основу для навчання та оцінки мовної моделі на загальнодоступних наборах даних, включаючи журнали навчання, кілька контрольних точок та передтренувальні конфігурації.
За словами Apple, модель OpenELM публікується з метою «розширити та збагатити відкриту дослідницьку спільноту» новітніми мовними моделями. Обмін моделями з відкритим вихідним кодом дає дослідникам можливість вивчити ризики, дані та упередженості моделей. Розробники та компанії можуть використовувати або змінювати моделі як є.
Спільне використання відкритого вихідного коду стало для Apple важливим інструментом залучення талановитих інженерів, науковців та експертів. Це пов'язано з тим, що він дає можливість публікувати дослідження, які зазвичай не публікуються відповідно до політики конфіденційності Apple.
Хоча Apple ще належить впровадити такого роду функції штучного інтелекту у свої пристрої, очікується, що iOS 18 буде включати ряд нових функцій штучного інтелекту, і ходять чутки, що Apple планує запустити на пристрої великомасштабні мовні моделі з метою конфіденційності.
