Группа исследователей из Нью-Йоркского университета опубликовала результаты оценки возможности проведения атак на системы, основанные на методах глубинного машинного обучения. Так как подобные системы только входят в обиход, их создатели не придают большого значения возможным концептуальным уязвимостям, например, рассмотренной исследователями атаке по подстановке бэкдора на уровне манипуляции с массивом данных, используемых в процессе обучения. Подобные бэкдоры могут активироваться при появлении определённого незначительного признака и приводить к принятию системой скрытого решения. Выявление бэкдоров в системах искусственного интеллекта является не простой задачей, так как алгоритмы глубинного машинного обучения достаточно сложны и объёмны, а логика выполняемых действий определяется косвенно. Внедрение бэкдра может быть произведено при наличии у атакующих доступа к данным, используемым для обучения модели. При этом проводимые впоследствии перетренировки модели не удаляют бэкдор, а ли ... Читать дальше »