Apple добилась прорыва в запуске программ LLM на iPhone

Apple была застигнута врасплох, когда технология генеративного искусственного интеллекта начала набирать обороты. Тем не менее, технологический гигант из Купертино, как полагают, работает над своими моделями LLM и стремится интегрировать более широкое использование этой технологии в будущие версии iOS и Siri.

Исследователи Apple в области искусственного интеллекта утверждают, что они совершили значительный прорыв в использовании моделей большого языка (LLM) на iPhone и других устройствах Apple с меньшим объемом памяти, внедрив гениальную технику флэш-памяти.

Научно-исследовательская работа под названием «LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью» был выпущен 12 декабря 2023 года, но привлек более широкое внимание, когда Hugging Face, самый популярный веб-сайт для демонстрации своих работ ученых в области искусственного интеллекта, объявил о нем в эту среду. Это вторая исследовательская работа Apple по генеративному искусственному интеллекту в этом месяце, и она является последней в серии шагов, которые позволяют моделям генерации изображений, таким как Stable Diffusion, работать на собственных чипах.

LLM на iPhone

До этого прорыва считалось невозможным запускать большие языковые модели на устройствах с ограниченной памятью, поскольку LLM требует большого объема оперативной памяти для хранения данных и процессов, интенсивно использующих память. Чтобы бороться с этим, исследователи Apple разработали технологию хранения данных во флэш-памяти — вторичной памяти, которая используется для хранения изображений, документов и приложений.

Исследователи Apple говорят, что он «решает проблему эффективного запуска LLM, превышающего доступную емкость DRAM, путем сохранения параметров модели во флэш-памяти, но переноса их по требованию в DRAM».

Таким образом, весь LLM по-прежнему хранится на устройстве, но использовать его в оперативной памяти можно, работая с флэш-памятью, формой виртуальной памяти. Это мало чем отличается от того, как это делается в macOS для задач, требующих большого количества памяти.

Проще говоря, исследователи Apple ловко обошли эти ограничения, применив два метода, которые могут минимизировать передачу данных и максимизировать пропускную способность флэш-памяти:

Windowing: Представьте себе это как способ повторного использования данных. Вместо того, чтобы каждый раз загружать данные, модель ИИ повторно использует часть существующих данных, которые она ранее обработала. Это означает, что меньше необходимости постоянно получать данные и хранить их в памяти, что делает процесс более быстрым и плавным.

Объединение строк и столбцов. Этот метод аналогичен чтению текста большими фрагментами, а не по одному слову в каждом. Данные можно считывать из флэш-памяти быстрее, если они более эффективно сгруппированы, что увеличивает способность ИИ понимать и генерировать язык.

В исследовательском документе предполагается, что сочетание этих методов позволит моделям искусственного интеллекта работать как минимум в два раза больше памяти iPhone. Ожидается, что этот метод увеличит скорость обычных процессоров (ЦП) в 5 раз и в 20-25 раз быстрее графических процессоров (ГП).

ИИ на iPhone

Новое достижение в области эффективности искусственного интеллекта открыло новые возможности для будущих iPhone, включая более сложные возможности Siri и языковой перевод в реальном времени, а также расширенные функции искусственного интеллекта для фотографии и дополненной реальности. Эта технология также создаст основу для запуска на iPhone сложных чат-ботов и помощников с искусственным интеллектом, над которыми, как сообщается, Apple работает.