Тесты антивирусовЧасть 1

Дмитрий
Беликов

Студент 6 курса МИЭМ НИУ ВШЭ

Александр
Сорокин

Старший преподаватель кафедры компьютерной безопасности МИЭМ НИУ ВШЭ

Ксения
Чурсина

Студентка 6 курса МИЭМ НИУ ВШЭ

Для начала необходимо выяснить, как вообще можно оценить качество антивируса. Конечно, каждая тестовая лаборатория имеет свою систему оценок и свою методику. Но в среднем все они придерживаются устоявшейся системы тестов, о которой будет рассказано ниже.

Процент обнаруженных угроз

Статическое тестирование (вирусов, фишинг-атак и т.п.)
При статическом тестировании (другие названия: классический тест, тест на детектирование, static scan, file detection test) исследуемые средства применяются для сканирования каталога (директории), в котором находятся как безвредные файлы, так и зараженные (количество файлов обычно исчисляется сотнями или даже тысячами). Идеальный антивирус должен обнаружить 100% зараженных файлов, не допустив ни одного ложного срабатывания.

Данный тест показывает, насколько хорошо антивирус справляется со сканированием компьютера (его файловой системы). Необходимо учитывать, что такое сканирование запускается принудительно и не защищает от онлайн-угроз (загружаемые из Интернета файлы, скрипты на Web-страницах, некорректная работа программ уже после их запуска и т.д.). Статическое тестирование является исторически первой методикой анализа уровня защиты антивирусных средств, вследствие чего наиболее распространено.

Динамическое тестирование
При динамическом тестировании (другие названия: жизненный тест, dynamic test) на защищенном антивирусом компьютере открывают вредоносные/зараженные Web-сайты и почтовые вложения, проводя учет того, какая доля угроз была обнаружена и заблокирована до вторжения в систему. Преимущество данного типа тестирования в том, что им проверяются все защитные технологии продукта (которых сейчас достаточно много), а также применяются наиболее актуальные угрозы.

Процент ложных срабатываний

Все защитные технологии современных антивирусов (сигнатурный анализ, генетический анализ, поведенческий анализ и др.) подвержены как ошибкам первого рода (необнаруженные угрозы), так и ошибкам второго рода, то есть ложным срабатываниям (другие названия: ошибка второго рода, false positive, false alarm). Количество ложных срабатываний является критической характеристикой для многих пользователей и должно учитываться при оценке качества антивируса. Тестирование на процент ложных срабатываний редко проводится отдельно, обычно это "побочный результат" статического и динамического тестирований.

Тест эвристических технологий и поведенческого анализа

Чаще всего проводится ретроспективный тест (retrospective test), когда для тестирования намеренно используются старые антивирусные базы (блокируются их обновления) и современные экземпляры вирусов (троянов, шпионских программ и т.д.). Само тестирование может быть как статическим, так и динамическим.

Также для тестирования поведенческого анализа (другие названия: heuristic/behaviour test) могут использоваться специально написанные образцы. Такой метод не имеет своего устоявшегося названия и встречается очень редко, обычно в небольших обзорах, которые делают продвинутые пользователи.

Процент удаленных вредоносных файлов

Так как не все антивирусы при обнаружении вредоносного файла оказываются в состоянии удалить его и его следы, часто проводится отдельное тестирование на процент удаленных файлов (процент считается среди детектированных угроз).

Процент вылеченных файлов

В настоящее время многие антивирусы заявляют у себя функцию "лечения", которая привлекает пользователей, для которых важна возможность сохранения всех своих данных даже в случае заражения компьютера. Производители антивирусного ПО, как правило, стараются избежать лишней ответственности, заявляя, что "лечение возможно не всегда". Поэтому очень важно узнать, работает ли заявленный функционал вообще в каких-либо случаях и насколько хорошо он реализован (по сравнению с другими представителями на рынке). Процент вычисляется среди зараженных файлов.

Тесты на ресурсоемкость

Тесты на ресурсоемкость (другие названия: performance test) часто переводят на русский как "тест производительности", что не совсем корректно передает смысл; есть отдельные тесты на загрузку процессора, памяти, замедление работы системы в различных режимах и т.п. Свойство антивируса замедлять систему зачастую выступает раздражающим фактором и недостатком для большого числа пользователей. Если продукты показывают схожие результаты по защите, то стоит обратить внимание на тесты производительности. Зачастую эти факторы обратно пропорциональны, и приходится выбирать оптимальное соотношение в зависимости от того, для чего используется компьютер: часто ли посещаются "опасные" ресурсы, какое количество пользователей за ним работает, часто ли подключаются внешние накопители (флешки, жесткие диски и т.д.) и их количество и т.д.

Тестирование в экстремальных условиях

Данный тест стал набирать популярность в последнее время, но пока встречается достаточно редко и не имеет устоявшихся названий. Обычно под такой формулировкой подразумевают один из следующих тестов (или их комбинацию):

• установка антивируса на зараженную систему – антивирусное средство ставится на успешно зараженную систему. Оценивается возможность такой установки, возможность лечения системы (автономно, при помощи диска восстановления и т.д.), качество очистки системы (удален ли сам вирус и его следы – во временных файлах, реестре и т.д.);
• тестирование механизмов самозащиты – многие вирусы пытаются атаковать антивирусное ПО, и не всякий антивирус выдерживает такие атаки.

Удобство использования

Удобство использования (другие названия: исследование интерфейса, usability) – один из самых спорных и субъективных тестов. Обычно включает в себя:

• оценку интерфейса с дизайнерской точки зрения: не устают ли глаза, комфортно и приятно ли работать с программой;
• оценку с точки зрения интуитивной понятности интерфейса: сможет ли обычный пользователь сразу начать работу с программой, насколько логично расположены модули, понятны ли их названия и т.д.;
• наличие/отсутствие рекламы (при ее наличии оценивают навязчивость): многие производители снабжают бесплатные версии своих продуктов рекламными блоками, которые призывают перейти на платную версию. Данные блоки могут быть достаточно неприметными элементами в углу окна основной программы, а могут представлять собой навязчивые всплывающие окна.

Тестирование скорости реакции

Тестирование скорости реакции – сколько времени проходит от обнаружения нового вируса до занесения его в базы сигнатур и выпуска соответствующего обновления. Сейчас становится все менее актуальным, но очень важен для антивирусов с несовершенным эвристическим анализом.

Специализированные тесты

Сейчас многие производители предлагают решения мобильной безопасности, решения для Mac-компьютеров, поэтому у многих тестовых лабораторий можно встретить сравнения антивирусных решений для Mac, iOS, Android. l