Apple нашла способ запуска ИИ-модели на смартфонах без использования "облака"

Специалисты Apple описали новый способ работы инструментов генеративного искусственного интеллекта (ИИ) на смартфонах. Это говорит о том, что компания может сосредоточиться на развертывании ИИ непосредственно на iPhone, а не в мощных центрах обработки данных.

В материале команда ученых предложила способ, при котором генеративный искусственный интеллект можно будет использовать даже на старых устройствах. В компании заявили, что для обработки операций можно применять не оперативную, а постоянную память девайса.

Метод под названием Windowing подразумевает в том числе повторное использование моделью некоторых данных, которые она уже обработала, что снижает потребность в непрерывной выборке данных из памяти и ускоряет весь процесс. Метод Row-Column Bundling, в свою очередь, заключается в более эффективной группировке данных, что позволяет модели искусственного интеллекта быстрее считывать данные из флеш-памяти и ускоряет ее обучение.

По оценке специалистов, новый метод позволит снизить нагрузку на процессор в 4-5 раз, графический ускоритель — 20-25 раз. Также при этом данные будут обрабатываться не на серверах — как в случае популярного чат-бота ChatGPT, а непосредственно на смартфоне. «Этот прорыв особенно важен для внедрения передовых программ LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность», — отметили авторы исследования.