Теперь – к деталям. Что случилось и почему, или «экспресс-курс обучения как правильно читать результаты AV-TEST». Формула идеального антивируса придумана уже давным-давно. Это:
1. 100% защита и 0% ложных срабатываний.
2. Ноль потребления системных ресурсов.
3. И при этом никаких вопросов пользователю.
4. (Всё это чудо бесплатно, т.е. даром, но это уже совсем из области фантастики.)
Понятно, что такой идеал недостижим, но ведь можно бесконечно к нему приближаться. А именно, самое главное:
• Ловить максимально возможное число зловредов, а если уж проскочило – уметь потом вылечить заражение (да и просто уметь ставиться на заражённый комп).
• Минимизировать риск ложных срабатываний – а уж если произошло, то максимально быстро их убирать.
• «Нет предела нашему интегралу», – говорит один мой хороший знакомый, так вот – нет предела работам по оптимизации потребления системной памяти, времени работы процессора, количеству и объёму скачиваемых из Интернета апдейтов. Но никак не в ущерб безопасности.
Вроде всё должно быть понятно. Но что делать простому юзеру, глядя на десятки антивирусных продуктов? Какой лучше и почему? Кто авторитетно сможет их ранжировать по степени близости к «идеальному антивирусу»? (при том, что вся эта толпа, все как один и весьма аргументированно – все считают самыми лучшими себя, любимых).
Кто?.. Очевидно – независимые тестеры. И AV-TEST – один из них.
Несколько лет назад эта команда создала очень правильную методологию тестирования и накрутила на неё не менее правильную систему сертификации. Сначала продукты тестируются по трём критериям: «защита» (предотвращение заражения), «лечение» и «юзабилити» (удобство пользования: производительность и количество ложных срабатываний). По результатам (совокупному количеству баллов) выдаётся или не выдаётся именной сертификат. Мы эту систему всегда поддерживали и ставили в пример наряду с другими тестерами «высшей лиги».
Так что за метаморфоза случилась с AV-TEST, из-за чего его сертификация потеряла доверие?
Во-первых, изменён список критериев для получения сертификата. За бортом оказался такой важный параметр как «лечение». Вообще, нужен ли антивирус, который может обнаружить заразу, но не способен её вылечить? (ага, сцена у стоматолога: «у вас кариес, но лечить мы его не будем, не умеем!»). А ведь совсем недавно мы выяснили, что около 5% всех компьютеров в мире с установленным антивирусом – они оказались заражены! Каждый двадцатый! Аналогичную цифру мы получили при оценке количества наших новых пользователей, которым требуется процедура лечения активного заражения сразу(!) после установки продукта. Итого – каждому двадцатому пользователю этот функционал антивируса крайне необходим, а остальным 19-ти – крайне желателен, поскольку каждый из них рано или поздно рискует стать «каждым двадцатым». Да, AV-TEST пообещал сделать отдельный, более прогрессивный тест на лечение, но он больше не будет влиять на сертификацию, а главное – будет опциональным! Не уверен в своем качестве лечения – не участвуй. Это, кстати, намёк – следите кто и как участвует в этом тесте и поймёте какие антивирусы достойны защищать ваш компьютер.
Во-вторых, снижена планка для получения сертификата – теперь для получения «медальки» достаточно 10 баллов из 18-ти.
В-третьих, под «юзабилити» теперь понимается только число ложных срабатываний, что, скажем прямо, не соответствует столь громкому названию. Ранее, когда в этом критерии также была «замешана» производительность, это намного точнее отражало сущность термина. В нынешнем балансе тестовых критериев AV-TEST’а ложные срабатывания могут вполне быть включены в категорию «защита» в качестве противовеса (что и делают большинство тестовых лабораторий).
Какие последствия будут у такого изменения процедуры сертификации AV-TEST?
Прежде всего, ценность сертификации серьёзно девальвируется. Количество участников тестов возрастёт, ибо некоторые антивирусы раньше сознательно не участвовали в тестах, понимая, что при их уровне развития защитных технологий никакого сертификата им и не светит. Теперь «медалька» от AV-TEST будет почти у каждого, не размахивать им будет только ленивый или безрукий.
Более того, сложность прохождения этой сертификации теперь такова, что «сертификат качества» AV-TEST может получить «антивирусное поделие» весьма сомнительного уровня. А что? Новых зловредов искать не надо – достаточно «сесть» на поток от сервисов типа VirusTotal. Ничего анализировать тоже не надо – достаточно поставить «мульти-сканер» и «тупо детектить» файлы, которые уже детектятся другими. Причём детектить по MD5, чтобы гарантировать отсутствие ложных срабатываний. Это работа на неделю для ленивого студента! Ну, потом нарисовать «морду», слепить мини-апдейтер, перехватить пару Виндовых функций, чтобы симулировать постоянную защиту, повесить иконку в трей, обернуть в инсталлятор – и всё! Можно посылать в AV-TEST и ждать сертификата!
Тьфу… Короче, важный баланс между оценкой защитных технологий и «юзабилити» утерян. Сертификаты для антивирусов для домашних пользователей от AV-TEST теперь, увы, – полная туфта. Ещё пара шагов в этом направлении и критериями качества у них будут: размер дистрибутива (меньше – лучше), частота апдейтов (реже – лучше) и дизайн интерфейса (больше котят – лучше). Вот так…
А теперь пора переходить к следующей части повествования – Спрашивается: и зачем AV-TEST это сделал?
Нафига делать себе и другим плохо? Об истинных причинах такого шага мало что известно (AV-TEST крайне скудно эти события комментируют), но можно включить мозг и подумать. И для начала надо разобраться в экономике тестового бизнеса.
Да, тестирование – это бизнес. И у него есть своя экономика. И я это вполне понимаю – сделать хороший тест стоит не только большого ума и смекалки, но также требует вложений в инфраструктуру, офисного пространства и заработной платы. И, как в любом бизнесе, здесь есть зависимость между качеством и прибылью. Иногда компании сознательно идут на снижение качества, чтобы увеличить эту самую прибыль. В краткосрочном плане это действительно принесёт больше «бабла», но в перспективе ведёт к деградации и забвению.
Что-то мне подсказывает – здесь как раз тот самый случай. Из «обязательной программы» убраны наиболее сложный тест – на лечение заражённой системы. Теперь же достаточно просто прогнать продукты по коллекциям зловредов и чистых файлов и – вуаля!
Да, новая процедура удешевит тестирование и привлечёт в AV-TEST новых заказчиков, что радостью оплатят свои «медальки», которые теперь будут висеть на каждом антивирусном сайте. А с другой стороны, тестовый центр потеряет уникальность и доверие наиболее технологичных антивирусных вендоров, на которых и держится вся индустрия. Увы.
Я отнюдь не порицаю желание заработать больше! При правильной расстановке приоритетов – это хорошее мерило успешности бизнеса и качества продуктов и услуг. И, разумеется, помогает ещё пуще поднять качество и, ко всеобщему благу, заработать ещё больше Тестовая индустрия – не исключение. Многие компании на этом рынке идут по пути диверсификации компетентности, осваивая новые тестовые ниши (AV-TEST тут тоже отметился), копают не только вглубь, но и вширь, прокачивая профессиональную карму. А можно в погоне за длинным пфеннигом стремительно «опопсеть», девальвировав свой вердикт до уровня «сертификаты всем желающим по сходной цене».
Логично спросить – а почему наши продукты ещё в системе тестирования AV-TEST?
Прежде всего, наша принципиальная позиция – чем больше тестов, тем объективнее мнение. Бояться нам нечего, в своих технологиях и уровне защиты мы уверены, а если у нас есть претензии к какому-либо из тестов, то мы прямо и публично об этом скажем. Кроме того, AV-TEST проводит много других полезных тестов и сертификаций, в том числе в области корпоративных и мобильных продуктов. При этом функция лечения для корпоративных заказчиков не столь принципиальна, как для домашних пользователей. Даже в небольших компаниях, как правило, есть сисадмин и резервное копирование, которые совместно помогут победить заражение, если уж антивирус не справился.
Резюме:
1. Мы официально НЕ РЕКОМЕНДУЕМ пользователям ориентироваться на сертификацию AV-TEST в процессе выбора продукта для защиты домашних компьютеров.
2. Тем не менее, мы считаем приемлемым учитывать результаты отдельных категорий «защита», «производительность» и, конечно, обещанного теста на «лечение».
3. AV-TEST стоит учитывать мнение экспертов антивирусной индустрии, чтобы создать действительно адекватную систему сертификации, помогающую пользователям принимать обоснованные решения при выборе продукта. Например, вернуться в AMTSO (Anti-Malware Testing Standards Organization) и обсудить «острые углы» с представителями практически всех ведущих вендоров и экспертами.
