Американская Apple Inc. разработала метод обеспечения эффективного функционирования больших языковых моделей (LLM), используемых в том числе для приложений искусственного интеллекта (ИИ), на устройствах с ограниченным объемом памяти, говорится в ее исследовании LLM in a flash ("LLM во флэш-памяти" или "Скоростная LLM").
Это говорит о том, что компания может сосредоточиться на развертывании ИИ непосредственно на iPhone, а не в мощных центрах обработки данных, пишет Financial Times.
Большие языковые модели, в частности, используются для формирования связного текста, изображений и программного кода в таких приложениях, как ChatGPT, и обычно работают в "облаке", поскольку требуют существенных вычислительных мощностей.
Специалисты Apple, в свою очередь, предлагают устранить это "узкое место" за счет использования флэш-памяти в дополнение к традиционной динамической памяти DRAM и называют это прорывом, который позволит расширить применимость и повысить доступность LLM в условиях ограниченности ресурсов.
Новая технология может увеличить скорость отклика ИИ-ассистентов и позволить им работать офлайн, отмечает FT. Отсутствие необходимости пересылать данные в "облако" также должно повысить конфиденциальность, которой Apple уделяет особое внимание.
