Как нейронаука может защитить искусственный интеллект от кибератак?
Глубокое обучение прошло долгий путь с тех дней, когда оно умело лишь распознавать рукописные символы на чеках и конвертах. Сегодня глубокие нейронные сети стали основным компонентом многих приложений компьютерного зрения — от фото- и видеоредакторов до медицинского программного обеспечения и беспилотных автомобилей. Нейронные сети, в общих чертах построенные по образцу структуры мозга, приблизились к тому, чтобы видеть мир так, как мы, люди. Но им всё ещё предстоит долгий путь, и они допускают ошибки в ситуациях, в которых люди никогда бы не ошиблись.
Эти ситуации, обычно известные как состязательные примеры, удивительным образом меняют поведение модели ИИ. Состязательное машинное обучение — одна из величайших проблем нынешних систем искусственного интеллекта. Они могут приводить к моделям машинного обучения, которые дают сбой непредсказуемым образом или становятся уязвимыми для кибератак.
Создание систем ИИ, устойчивых к состязательным атакам, стало активной областью исследований и горячей темой обсуждения на конференциях по ИИ. В компьютерном зрении один из интересных методов защиты систем глубокого обучения от состязательных атак — применить открытия нейронауки, чтобы сократить разрыв между нейронными сетями и зрительной системой млекопитающих.
Используя этот подход, исследователи MIT и лаборатории MIT-IBM Watson AI Lab обнаружили, что прямое отображение особенностей зрительной коры млекопитающих на глубокие нейронные сети создаёт системы ИИ, более предсказуемые в своём поведении и более устойчивые к состязательным возмущениям. В статье, опубликованной на сервере препринтов bioRxiv, исследователи представили VOneNet — архитектуру, сочетающую современные методы глубокого обучения с нейронными сетями, вдохновлёнными нейронаукой.
Работа, выполненная при содействии учёных из Мюнхенского университета, Университета Людвига Максимилиана и Аугсбургского университета, была принята на NeurIPS 2020 — одну из важных ежегодных конференций по ИИ, которая в этом году пройдёт в виртуальном формате.
Свёрточные нейронные сети «Convolutional neural network»
Основная архитектура, используемая сегодня в компьютерном зрении, — свёрточные нейронные сети (CNN). Уложенные друг на друга, несколько свёрточных слоёв могут быть обучены тому, чтобы изучать и извлекать из изображений иерархические признаки. Нижние слои находят общие паттерны, такие как углы и края, а более высокие слои постепенно становятся искусными в нахождении более конкретных вещей, таких как объекты и люди. По сравнению с традиционными полносвязными сетями ConvNets оказались и более устойчивыми, и более эффективными в вычислительном отношении. Вместе с тем между тем, как обрабатывают информацию CNN и зрительная система человека, существуют фундаментальные различия.
ВГЛУБЬ, ЕЩЁ ГЛУБЖЕ
«Глубокие нейронные сети (и в особенности свёрточные нейронные сети) оказались на удивление хорошими моделями зрительной коры — удивительным образом они, как правило, лучше соответствуют экспериментальным данным, полученным от мозга, чем вычислительные модели, специально созданные для объяснения нейронаучных данных. Директор лаборатории MIT-IBM Watson AI Lab со стороны IBM Дэвид Кокс в комментарии TechTalks. «Однако не каждая глубокая нейронная сеть одинаково хорошо согласуется с данными мозга, и есть некоторые устойчивые разрывы, в которых мозг и DNN различаются».
Самый заметный из этих разрывов — состязательные примеры, в которых тонкие возмущения, такие как небольшая заплатка или неощутимый слой шума, могут заставить нейронные сети неверно классифицировать входные данные. Эти изменения по большей части не замечаются человеческим глазом.
«Безусловно, дело обстоит так, что изображения, обманывающие DNN, никогда не обманули бы наши собственные зрительные системы», — говорит Кокс. «В то же время DNN удивительно хрупки по отношению к естественным искажениям изображений (напр., добавлению шума), поэтому устойчивость в целом выглядит открытой проблемой для DNN. Имея это в виду, мы подумали, что это хорошее место для поиска различий между мозгом и DNN, которые могли бы оказаться полезными.
Кокс исследует пересечение нейронауки и искусственного интеллекта с начала 2000-х годов, когда он был учеником профессора нейронауки MIT Джеймса Ди Карло. С тех пор они продолжают работать вместе.
«Мозг — невероятно мощная и эффективная машина обработки информации, и заманчиво задаться вопросом, можем ли мы научиться у него новым приёмам, которые можно использовать в практических целях. В то же время мы можем использовать то, что знаем об искусственных системах, чтобы предлагать направляющие теории и гипотезы, которые могут подсказать эксперименты, помогающие нам понять мозг», — говорит Кокс.
Нейронные сети, подобные мозгу
Для нового исследования Кокс и Ди Карло объединились с ведущими авторами статьи Джоэлом Дапелло и Тьяго Маркесом, чтобы посмотреть, становятся ли нейронные сети более устойчивыми к состязательным атакам, когда их активации похожи на активность мозга. Исследователи ИИ протестировали несколько популярных архитектур CNN, обученных на наборе данных ImageNet, включая AlexNet, VGG и различные варианты ResNet. Они также включили некоторые модели глубокого обучения, прошедшие «состязательное обучение» — процесс, при котором нейронная сеть обучается на состязательных примерах, чтобы избежать их неверной классификации.
Учёный оценил модели ИИ с помощью метрики «BrainScore», которая сравнивает активации в глубоких нейронных сетях и нейронные отклики в мозге . Затем они измерили устойчивость каждой модели, испытав её на состязательных атаках типа «белый ящик», при которых атакующий обладает полным знанием структуры и параметров целевых нейронных сетей. «Удивительно, но чем больше модель была похожа на мозг, тем устойчивее система была к состязательным атакам», — говорит Кокс.
Чтобы спуститься вглубь, ещё глубже, остаться там и немного подумать, нужно немного бесстрашия, немного решимости суметь отказаться от того, что знаешь, и смелость посмотреть в лицо — в изумлении — новому, совершенно неведомому ЗНАНИЮ, с которым можно встретиться в глубине. Чтобы в свете науки продвигаться по пути этических и нравственных ценностей — «самое время думать»!
Перевод с турецкого оригинала.