Как модели TensorFlow подвергаются риску из-за дефекта API Keras?

ИИ-модели TensorFlow могут быть подвержены риску атак на цепочки поставок из-за дефекта в API Keras, который позволяет выполнять потенциально опасный код.

Keras - это API для нейронных сетей, который написан на языке Python и предоставляет высокоуровневый интерфейс для программных библиотек глубокого обучения, таких как TensorFlow и Theano.

Уязвимость, отслеживаемая как CVE-2024-3660, затрагивает версии Keras до 2.13 и была раскрыта координационным центром CERT в прошлый вторник. Дефект кроется в работе с лямбда-слоями, типом "строительного блока" ИИ, который позволяет разработчикам добавлять произвольный Python-код в модель в виде анонимной лямбда-функции.

В ранних версиях Keras код, включенный в лямбда-слои, мог быть десериализован и выполнен без каких-либо проверок, то есть злоумышленник мог распространить троянскую версию популярной модели, включающую вредоносные лямбда-слои, и выполнить код на системе любого, кто загрузит эту модель.

"Это еще одна из длинной череды уязвимостей, связанных с инъекциями в модели, которым уже более десяти лет, включая предыдущие инъекции команд в модели Keras", - сообщил SC Media Дэн Макинерни, ведущий исследователь угроз ИИ в Protect AI, в своем электронном письме.

В Keras 2.13 и более поздних версиях присутствует параметр "safe_mode", который по умолчанию имеет значение "True" и предотвращает десериализацию небезопасных лямбда-слоев, которые могут спровоцировать выполнение произвольного кода. Однако эта проверка выполняется только для моделей, сериализованных в формате Keras версии 3 (расширение файла .keras), то есть модели Keras в более старых форматах все еще могут представлять опасность.

Уязвимость представляет собой потенциальный риск для разработчиков, работающих с моделями TensorFlow в Keras. Разработчик может неосознанно включить стороннюю модель с вредоносным лямбда-слоем в свое приложение или построить собственную модель на основе базовой модели, содержащей вредоносный код.

Пользователям и создателям моделей рекомендуется обновить Keras как минимум до версии 2.13 и убедиться, что параметр safe_mode установлен в значение "True", чтобы избежать выполнения произвольного кода из лямбда-слоев. Модели также должны сохраняться и загружаться в формате сериализации Keras версии 3.

"Пользователи моделей должны использовать только модели, разработанные и распространяемые доверенными источниками, и всегда проверять поведение моделей перед развертыванием. Они должны следовать тем же передовым методам разработки и развертывания приложений, в которые интегрированы ML-модели, как и в любом приложении, включающем любой компонент стороннего производителя", - пишут исследователи CERT.

Платформы для размещения программного обеспечения с открытым исходным кодом, такие как Hugging Face, GitHub, npm и PyPI, являются популярными мишенями для атак на цепочки поставок из-за того, что современное программное обеспечение в значительной степени зависит от открытого кода сторонних разработчиков. С учетом бурного развития ИИ в последние пару лет угрозы в цепочке поставок, направленные на компрометацию моделей ИИ, скорее всего, будут расти.

"Риски усугубляются тем, что небезопасные форматы моделей, такие как pickle, были просто приняты сообществом машинного обучения в качестве формата моделей по умолчанию в течение многих лет, а также массовым ростом использования сторонних моделей, загружаемых из онлайн-репозиториев, таких как Hugging Face", - говорит Макинерни.

Действительно, в начале этого месяца на платформе Hugging Face были обнаружены вредоносные модели в небезопасном формате pickle.

"Существуют полезные инструменты с открытым исходным кодом, такие как ModelScan, которые могут обнаруживать вредоносные модели, но это вряд ли конец новых способов заставить модели выполнять вредоносный код без ведома конечного пользователя", - заключил Макинерни.