NXP продвигает развёртывание LLM на периферии с помощью Kinara и GenAI Flow

На выставке Embedded Vision Summit 2025 компания NXP Semiconductors представила свои ключевые шаги по внедрению больших языковых моделей (LLM) в область периферийных вычислений, известных как edge AI. Демонстрируемые разработки включали как усовершенствования на аппаратном уровне, так и новейшие программные инструменты, ориентированные на оптимизацию работы интеллектуальных систем в условиях ограниченного энергопотребления, памяти и допустимых задержек.

Основное внимание было уделено тому, как сделать внедрение LLM более адаптивным и масштабируемым для разнообразных сценариев — от автономных устройств до промышленных решений. Эти инициативы подчёркивают стремление NXP повысить эффективность и гибкость вычислений на границе сети, обеспечивая более умные и отзывчивые системы без необходимости постоянного подключения к облачным ресурсам.

Аппаратная интеграция LLM в edge-системы

В числе ключевых разработок NXP выделила использование собственных процессоров i.MX-8M+ и i.MX-95, оборудованных встроенными нейропроцессорными блоками (NPU).

Эти NPU способны выполнять инференс нейросетевых моделей объёмом до 4 миллиардов параметров, что делает их пригодными для таких задач, как:

• автоматизация и безопасность в автомобилях (ADAS),
• промышленный контроль и диагностика,
• интеллектуальные потребительские устройства с локальной обработкой команд.

Однако в случае более сложных и ресурсоёмких моделей, характерных для LLM, встроенной вычислительной мощности оказывается недостаточно. Для решения этой проблемы NXP анонсировала использование внешнего ускорителя Ara-2 от компании Kinara, приобретённой ранее в этом году.

Этот чип поддерживает:

• вычислительную производительность до 40 TOPS (тера-операций в секунду);
• до 16 ГБ LPDDR4-памяти;
• подключение через PCIe или USB;
• совместимость с любыми хост-системами, включая собственные CPU от NXP.

Такой подход позволяет легко масштабировать существующие системы без полной замены аппаратной платформы. Например, в промышленной среде возможно расширение возможностей ИИ без модернизации базовых вычислительных модулей, что особенно ценно для задач с высокой плотностью развертывания и строгими требованиями по затратам.

Агентный и физический ИИ на периферии

Одним из ключевых направлений, на котором сосредоточена компания NXP, является создание агентных ИИ-систем — автономных интеллектуальных решений, способных действовать по собственной инициативе, без постоянного участия человека или связи с облачными сервисами. Это особенно важно для сфер, где критичны скорость отклика, стабильность и независимость от внешней инфраструктуры.

Использование высокопроизводительного процессора Ara-2 с архитектурой, ориентированной на параллельные вычисления, открывает новые возможности: большие языковые модели могут одновременно обрабатывать несколько информационных потоков, отслеживать происходящее в окружающей среде, синхронизироваться с другими подсистемами и выполнять команды на физическом уровне. Такая функциональность позволяет строить по-настоящему автономные устройства, способные не только анализировать данные, но и принимать решения в реальном времени. Это особенно важно для таких областей, как промышленная автоматизация, робототехника или медицинское оборудование, где любая задержка или зависимость от внешнего канала связи может привести к сбоям и рискам.

Программный фреймворк GenAI Flow

В дополнение к аппаратным средствам, NXP представила GenAI Flow — программную платформу, облегчающую внедрение LLM и генеративного ИИ в встраиваемые и периферийные устройства.

Этот фреймворк включает в себя:

• детекторы событий (trigger-based логика);
• модули распознавания речи (ASR) и синтеза аудио (TTS);
• поддержку разделения вычислительной нагрузки между NPU и CPU в зависимости от конфигурации.

GenAI Flow адаптирован для устройств, не имеющих дисплея или клавиатуры, таких как голосовые помощники, сенсорные узлы в производстве или автономные системы мониторинга.

Особое внимание уделено поддержке технологии RAG (Retrieval-Augmented Generation). Этот подход позволяет повышать точность ответов LLM за счёт подключения к специфическим, заранее подготовленным базам знаний — без необходимости переобучения модели. Встраиваемые ИИ-решения могут использовать, например, встроенную техническую документацию, стандарты, протоколы обслуживания или лог файлы, оставаясь при этом соответствующими требованиям сертификации и объяснимости. Это особенно актуально в медицине, энергетике и критически важных промышленных системах.

Стратегические выводы

Объединение модульной аппаратной платформы (NPU + Ara-2) и специализированного фреймворка (GenAI Flow) позволяет реализовать гибкие, масштабируемые и энергоэффективные edge-решения, в которых LLM и генеративный ИИ действуют локально.

Это позволяет:

• снизить задержки и трафик,
• обеспечить приватность и отказоустойчивость,
• адаптировать архитектуру под новые классы ИИ-приложений, включая физический ИИ (взаимодействие с физическим миром) и контекстно-зависимые агенты.

По прогнозам NXP, подобные технологии лягут в основу следующего поколения умных устройств, способных выполнять автономные действия — например, обнаружить промышленную аварию, запустить аварийный протокол, уведомить персонал и зафиксировать инцидент в системе, не прибегая к облачному взаимодействию.

В целом, расширяющаяся экосистема NXP в области периферийного ИИ иллюстрирует движение к локализованным, высокоадаптивным и безопасным LLM-приложениям, способным обеспечить высокую производительность и соответствие отраслевым требованиям в условиях ограниченных ресурсов.