Новая тестовая методология: что-то пошло не так

Тест NSS Labs был проведен по новой методологии, однако его результаты вызывают достаточно серьезные вопросы.

Как мы уже неоднократно писали, «Лаборатория Касперского» только приветствует разнообразие методологий различных тестов для анализа защитных продуктов. В конце концов, они не просто показывают, какие решения более эффективны, — они также вносят свой косвенный вклад в развитие и улучшение продуктов. Особенно когда речь идет о всесторонних исследованиях, с применением тестовых сценариев, близких к поведению реального пользователя.

Именно поэтому мы были крайне рады узнать о том, что компания NSS Labs разработала новую методологию для сравнительного анализа корпоративных защитных решений, которые могут выявлять, предотвращать и постоянно отслеживать появление новых угроз на рабочих станциях. В терминологии NSS Labs такие решения называются Advanced Endpoint Protection (AEP) solutions.

В середине февраля NSS Labs представила результаты своего пилотного тестирования по новой методологии. В нем принимали участие 13 продуктов, соответствующих описанию AEP-решений, в том числе и актуальная версия Kaspersky Endpoint Security для бизнеса, показавшая достаточно неплохие результаты. Однако полученный нами отчет вызывает достаточно серьезные вопросы. В основном потому, что, несмотря на наличие детальной методологии, мы не смогли повторить большую часть экспериментов и получить те же результаты. Фактически мы со своей стороны смогли подтвердить у Kaspersky Endpoint Security для бизнеса только две неудачи — все остальные тестовые сценарии проходятся нашим продуктом успешно. Расстраивает также и то, что у нас не было достаточно времени для того, чтобы обсудить с аналитиками NSS Labs результаты до публикации отчета (а это вообще нормальная практика — ошибаться могут не только продукты). Впрочем, такая спешка, скорее всего, объясняется необходимостью публикации результатов на конференции RSA.

Мы продолжаем обсуждать с NSS Labs ее методологию и разбираться в том, что же пошло не так. Пока же мы склоняемся к мнению, что ее метод тестирования находится в стадии бета-версии и нуждается в некоторой доработке. Однако мы уверены, что в конце концов проблемы будут решены и мы сможем опираться на еще одно авторитетное исследование защитных решений.

А вообще мы не устаем повторять выводы, сделанные в одном из наших предыдущих постов: к каждому исследованию необходимо подходить с долей здорового скепсиса, а решения принимать по совокупности результатов многих исследований.

Советы