Контакты
Подписка
МЕНЮ
Контакты
Подписка

Игры искусственного разума: безопасность систем машинного обучения

Игры искусственного разума: безопасность систем машинного обучения

В рубрику "В фокусе" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Игры искусственного разума:безопасность систем машинного обучения

По данным PricewaterhouseCoopers1, 74% российских компаний планируют инвестировать в искусственный интеллект в ближайшие три года. Действительно, в настоящее время данная технология рассматривается в мире как способ качественного изменения процессов управления и обработки
Григорий Маршалко
Эксперт ТК 26, эксперт ISO/IEC JTC1/SC 27

Зародившееся в середине XX в. направление искусственного интеллекта объединяет широкий спектр научных областей, таких как представление знаний, обработка естественных языков, машинное обучение и др.

Наибольшее внимание со стороны разработчиков в настоящее время привлекают именно системы машинного обучения. В отличие от классических алгоритмических методов машинное обучение основывается не на решении конкретной задачи, а на обучении при решении сходных задач и уже последующем решении требуемой задачи. Спектр используемых методов при этом чрезвычайно широк: методы оптимизации, математической статистики и теории вероятностей, теории графов, искусственных нейронных сетей.

Сейчас на первый план выходят именно нейронные сети. Несмотря на то что, как и искусственный интеллект в целом, нейронные сети развиваются с середины прошлого века, только в последние годы они стали действительно активно использоваться. Это связано, с одной стороны, с наличием доступных для обработки и обучения нейронных сетей больших объемов данных, а с другой – с появлением достаточных вычислительных мощностей, которые позволяют такие объемы данных обрабатывать, прежде всего с использованием графических ускорителей и нейроморфных процессоров типа IBM Tru-eNorth.

Сейчас на первый план выходят именно нейронные сети. Несмотря на то что, как и искусственный интеллект в целом, нейронные сети развиваются с середины прошлого века, только в последние годы они стали действительно активно использоваться. Это связано, с одной стороны, с наличием доступных для обработки и обучения нейронных сетей больших объемов данных, а с другой – с появлением достаточных вычислительных мощностей, которые позволяют такие объемы данных обрабатывать, прежде всего с использованием графических ускорителей и нейроморфных процессоров типа IBM TrueNorth.

Как и при использовании любой другой технологии, относящейся к сфере обработки информации, перед специалистом в области информационной безопасности встает вопрос о возможных угрозах и мерах по противодействию таким угрозам при использовании систем искусственного интеллекта.

В информационной безопасности использование искусственного интеллекта обычно принято рассматривать в контексте противодействия существующим кибератакам, таким, например, как фишинг, DDoS-атаки и др., или как средство, которое может обеспечить качественно новый уровень реализации таких атак2 при использовании злоумышленниками.

Одновременно, как и любой другой технологии использованию искусственного интеллекта сопутствует широкий спектр неизвестных ранее угроз, которые простираются от социальных и этических проблем3, связанных с ограничением гражданских свобод и плюрализма мнений при автоматизации принятия решений, а также ответственностью за их последствия, до безопасности технической реализации решений, использующих искусственный интеллект, и касающихся, например, обеспечения доверия к процессу принятия решения или безопасности обрабатываемых данных4.

Безопасность системы ИИ и как ее обеспечить

Отмеченный выше принцип предварительного обучения при обработке данных методами искусственного интеллекта приводит к тому, что конечное решение зависит не только от алгоритма принятия решения, но и от обработанных ранее и обрабатываемых в данный момент данных. В результате возникают два совершенно новых типа атак на системы рассматриваемого типа в дополнение к классическим, характерным для любой информационной системы:

  • манипуляция входными данными при обучении с целью изменения последующего процесса принятия решения, или так называемое отравление данных (data poisoning) – рис. 1;
  • подбор входных данных на этапе принятия решения, приводящий к их неверной классификации, или так называемое уклонение от данных (data evasion) – рис. 2.

Данные атаки применимы не только к нейронным сетям, но и к методам машинного обучения, использующим, например, аппарат математической статистики. Это является следствием того, что все подобные методы фактически аппроксимируют параметры обрабатываемых данных некоторыми функциональными соотношениями. Собственно, точность подобной аппроксимации и определяет возможность реализации указанных типов атак.


Следует отметить, что какой-либо единой методологии защиты систем рассматриваемого типа в настоящее время нет. Вместе с тем исследователи выделяют ряд подходов5, которые в настоящее время активно изучаются.


Обучение с защитой от атак на процесс принятия решений. В этом случае обучающие данные формируются таким образом, чтобы исключить возможность применения конкретных атак (фактически происходит обучение распознаванию атакующих данных) или попытаться ослабить влияние определенных классов атак.

Идея защиты в процессе обучения основана на ограничении множества входных данных. Поскольку, как уже было сказано, параметры данных могут иметь сложный функциональный вид, а решающее правило фактически аппроксимирует их функционалом более простого вида, то, например, запрет на использование данных, которые в каком-то смысле далеки от среднего значения обучающей выборки, позволяет уменьшить влияние атак на этапе обучения.

В заключение отметим аспект обеспечения конфиденциальности данных, и прежде всего персональных данных пользователей. Обработка больших объемов данных в системах машинного обучения безусловно ставит под угрозу в первую очередь данные пользователей. К настоящему моменту уже делаются попытки совместить системы данного класса с такими активно развивающимися перспективными направлениями в криптографии, как гомоморфное шифрование и протоколы конфиденциального вычисления. Однако до реального внедрения подобных систем пока еще далеко.

___________________________________________
1 Ускорение инновационного развития. Уверенность в реализации возможностей искусственного интеллекта, https://www.pwc.ru/ru/publications/artificial-intelligence-realizations.html
2 The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, https://www.eff.org/deeplinks/2018/02/mali- cious-use-artificial-intelligence-forecasting-prevention-and-mitigation
3 Summary of the CDEP technology foresight forum. Economic and social implications of artificial intelligence, http://oe.cd/ai2016
4 A Berkeley View of Systems Challenges for AI, https://arxiv.org/abs/1712.05855
5 Security and Privacy Issues in Deep Learning, https:// arxiv.org/abs/1807.11655

Опубликовано: Журнал "Information Security/ Информационная безопасность" #4, 2018

Приобрести этот номер или подписаться

Статьи про теме