jeudi 6 décembre 2007

Antivirus : pourquoi les tests actuels sont dépassés

Andreas Marx, collaborateur pour l’organisme de tests antivirus AV-test.org, a envoyé un email cet après-midi pour justifier la création de tests plus évolués et mieux adaptés au piratage actuel.

« Les résultats des tests actuels sont non seulement moins significatifs, mais ils induisent en erreur l'utilisateur. La plupart des tests ont été développés il y a une quinzaine d’années ».

Or, la situation a évolué.

« Prenons l'exemple de l'automobile, nous n'avons pas uniquement des ceintures de sécurité comme système de protection. Il y a aussi les airbags et l’ABS. Or, personne aujourd’hui ne pense qu’un test axé uniquement sur les ceintures de sécurité donnerait une information suffisante sur la sécurité de la voiture ».


Pour les antivirus c’est la même chose.


« Au cours d’un colloque sur les tests d’antivirus à Reykjavik (Islande), les éditeurs d’antivirus notamment ont discuté des tests comparatifs et la facon de les améliorer.

Des représentants de Symantec, Kaspersky, F-Secure et Panda, et de AV-Test.org, ont décidé de créer un groupe de travail. Cette entité devrait non seulement publier des directives et des documents de travail de façon régulière sur les tests des AV mais aussi éduquer les usagers et les testeurs. La protection de produits devrait être aussi améliorée. »

D’autres discussions ont eu lieu lors de la conférence Virus Bulletin 2007 à Vienne (Autriche). Des représentants de Avira, PC Outils et Trend Micro se sont joints à l'initiative ».

La vérité sur les antivirus

Les pirates font peur. Mais ils rapportent aussi beaucoup d’argent aux éditeurs d’antivirus. Régulièrement, des tests comparatifs sont publiés dans la presse ou par des sites. Et à chaque fois, les services marketing de ces éditeurs trouvent une astuce pour déclarer leur produit meilleur que les autres. Une méthode qui n’est pas propre à ces éditeurs.

Dans l’univers de la télévision que je connais bien c’est la même chose : à chaque fois qu’un comparatif d’audience est publié, toutes les chaînes crient haut et fort qu’elles sont premières !

Revenons aux antivirus. Ces tests comparatifs sont en fait dépassés et ne sont utilisés que comme support marketing. D’ailleurs, pour obtenir une détection à 100% lors du test suivant, des éditeurs n’hésitent pas à ajouter à leur base de signatures virales tous les codes malveillants qu’ils n’avaient pas reconnue la première fois. Peu importe que parmi ces codes malveillants il y ait des codes qui ne soient pas… malveillants.


Ils sont dépassés car les pirates ne se contentent plus depuis belle lurette de balancer un virus connu de tous les antivirus. Encore que : on voit régulièrement d’anciennes versions de codes malveillants resurgir et mettre à mal quelques logiciels.

Aujourd’hui, les pirates (du moins les vrais « pros ») utilisent des méthodes sophistiquées pour ne pas être repérés. Ni par l’utilisateur de l’ordinateur (ou de l’entreprise) ni par l’antivirus.

Bref, les tests sont dépassés.

C’est la raison pour laquelle, quelques éditeurs d’antivirus ont décidé de mettre au point de nouveaux tests tenant compte de l’évolution des attaques virales. Nom de ce programme : l’Anti-Malware Testing Working. Les antivirus ne seront plus classés selon leur capacité à détecter ou non des virus mais aussi selon leur comportement face à des attaques ciblées.

Un programme intéressant, voire très ambitieux. Tous les experts reconnaissent que les tests actuels sont obsolètes. Mais cette annonce des éditeurs soulève aussi de nombreuses questions comme le fait remarquer Renaud Feil, Consultant Sécurité (HSC) :

« Ce type de résultat ne peut qu'encourager les grands éditeurs à choisir eux-mêmes le protocole de test devant faire autorité ! Cela peut se comprendre, car la plupart des jeux de tests utilisés contiennent des virus "périmés", ou fonctionnant sur d'autres systèmes d'exploitation que celui sur lequel l'antivirus est installé.

Mais le problème est ailleurs. Cette obsession du 100% de détection des virus connus cache l'échec de la détection comportementale des programmes hostiles. Bloquer les virus "standards" qui forment le bruit de fond de l'Internet est aujourd'hui une problématique maîtrisée par la plupart des organisations et des particuliers. Il n'en est pas de même pour la détection des programmes hostiles utilisés dans des attaques plus ciblées et plus discrètes. Actuellement, n'importe quel antivirus du marché détecte un programme hostile connu... et laisse passer un programme hostile inconnu ou modifié pour échapper à cet antivirus, et ce malgré les promesses et les nombreux slogans marketing.

Le véritable défi qui attend les éditeurs d'antivirus est de bloquer les programmes hostiles inconnus. En ce sens, le protocole de test à définir devrait mettre à l'épreuve chaque antivirus face à des programmes de test réalisant des actions ostensiblement malveillantes et qui serait programmés pour l'occasion et de façon indépendante. Le challenge pour les équipes de R&D des éditeurs est de taille, mais il serait temps que les recettes générées par les ventes d'antivirus soient utilisées à bon escient ! »

Le discours de Renaud Feil a le mérite d’être clair et surtout indépendant.

Rendez-vous donc en 2008 pour voir les premiers tests et résultats…