Об этом сообщает KURAZH
Компания Cisco анонсировала Model Provenance Kit — открытый инструмент, который позволяет проверять происхождение и целостность моделей искусственного интеллекта. Этот продукт решает одну из основных проблем современной работы с открытыми ИИ-моделями: риск получить вместе с полезным инструментом незаметные уязвимости или модификации, которые могут навредить корпоративной безопасности.
Как работает Model Provenance Kit
Сегодня на платформах, подобных Hugging Face, размещены миллионы моделей искусственного интеллекта. Разработчики активно копируют, дообучают, объединяют и публикуют модифицированные версии, что усложняет определение истинного происхождения модели. Отсутствие прозрачности создает риски: скрытые смещения в обучающих данных или намеренно измененные веса могут привести к некорректной работе или даже стать бэкдором для злоумышленников. Именно для решения этой проблемы Cisco и представила Model Provenance Kit.
Инструмент разработан на языке Python и оснащен CLI-интерфейсом. Он формирует уникальный «отпечаток» для каждой модели, анализируя такие параметры, как:
- метаданные и архитектурные особенности;
- схожесть токенизаторов;
- геометрия эмбеддингов и характеристики нормализационных слоев;
- энергетические профили модели.
«Без четкого понимания происхождения модели любой сбой или манипуляция данными становятся неразрешимой загадкой для аудита».
Два режима проверки: compare и scan
Model Provenance Kit реализует два основных режима работы. Режим compare позволяет напрямую сопоставить две модели и определить, является ли одна из них прямым потомком другой, или была ли архитектура изменена посторонними вмешательствами. Режим scan применяется для поиска совпадений в базе уникальных «отпечатков», что помогает восстановить историю модели даже без оригинальной документации.
В условиях постоянных модификаций, дистилляции и объединения моделей такие инструменты становятся ключевым элементом цифровой безопасности и контроля качества. Model Provenance Kit уже доступен сообществу на GitHub, делая работу с открытым ИИ менее рискованной.
Стоит отметить, что другие инструменты искусственного интеллекта также демонстрируют высокий уровень надежности. В частности, недавно ИИ превзошел врачей в точности диагностики во время исследования Гарвардского университета.
