Antivirentest: Sicherheitsanbieter suchen Dialog mit Stiftung Warentest

SicherheitVirus

Die Stiftung Warentest hat vergangene Woche einen Vergleich von 18 Antiviren-Programmen veröffentlicht. Nur vier der Programme erhielten das Gesamturteil “gut”. Nach einem ersten Sturm der Entrüstung suchen die besonders schlecht bewerteten Hersteller mit einem offenen Brief nun das Gespärch. Aber nicht nur sie: Auch ein mit “gut” davongekommener Anbieter und das renommierte Labor AV-Test gehören zu den Unterzeichnern.

In der vergangenen Woche hat ein Test von 18 Sicherheitspakten für PCs der Stiftung Warentest für viel Aufregung gesorgt: Insbesondere die Hersteller, die dabei besonders schlecht abgeschnitten haben, warfen den Prüfern vor, es sei mit veralteten, praxisfernen Methoden getestet worden. Ihre Produkte hätten vor allem deshalb so schlecht abgeschnitten, weil gerade moderne Features, also cloud-basierende und verhaltensbasierende Funktionen, in weiten Teilen unberücksichtigt geblieben seien.

Die Stiftung Warentest hat das gegenüber ZDNet vehement zurückgewiesen: Man habe seriös, angemessen und vor allem praxisnah getestet. Am besten abgeschnitten hatten übrigens die kostenpflichtigen Programme Avira Internet Security 2012, G-Data Internet Security 2012 und Kaspersky Internet Security 2012 sowie mit Avira Free Antivirus ein kostenloser Virenschutz. Besonders schlecht kamen dagegen Symantec Norton Internet Security 2012 Note 3,8), McAfee Internet Security 2012 (Note 4,0), Trend Micro Internet Security 2012 (Note 4,2) und Panda Internet Security 2012 (Note 4,4) weg.

Bei den im März online befragten 540 Lesern von ITespresso sind die Lösungen von Avira, Microsoft, Avast, G-Data und Kaspersky die fünf am häufigsten auf dem Rechner am Arbeitsplatz eingesetzten Antiviren-Suiten (Grafik: ITespresso)

Nun haben sich acht Anbieter von PC-Sicherheitssoftware in einem offenen Brief an die Stiftung Warentest gewandt. Sie fordern darin die Stiftung zu einem Dialog über deren Testmethoden für Antivirensoftware auf. “Leider fehlt bei Ihrem Test eine detaillierte Beschreibung der Methoden, die uns helfen würde, Ihr Vorgehen besser zu verstehen. So könnten wir auch besser nachvollziehen, warum Sie ein bestimmtes Angriffsszenario zur Bewertung der Produkte gewählt haben. Dann lassen sich die Resultate richtig bewerten – aus unserer Sicht, aber vor allem auch aus Sicht der Verbraucher”, heißt es unter andrem in dem Brief.

Der offene Brief, der ITespresso vorliegt und auf der folgenen Seite im Wortlaut nachgelesen werden kann, wurde nicht nur von den “Verlieren” des Warentest-Tests unterzeichnet. Auch die österreichische Firma Ikarus, die darin gar nicht vorkommt, und Kaspersky, das mit “gut” bewertet wurde, sind mit der Methodik grundsätzlich nicht einverstanden. Als Vermittler bietet sich Andreas Marx vom Magdeburger Labor AV-Test an, der ebenfalls zu den neun Unterzeichnern des Schreibens gehört.

Update 4. April, 13 Uhr 20: Inzwischen hat die Stiftung Warentest auf ihrer Website eine Stellungnahme zum Offenen Brief der Hersteller abgegeben. Sie legt darin noch einmal ausführlich ihre bereits in den Grundzügen gegenüber ZDNet dargestellten Ansichten zu den Testmethoden dar und begründet ihr Vorgehen näher. Außerdem greift sie zusätzliche Punkte der inzwischen detaillierteren Kritik der Hersteller auf. Zum Angebot der Hersteller, “die Testmethodik und die verwendeten Samples unter Einbeziehung einer unabhängigen und unbeteiligten Stelle zu diskutieren” macht sie jedoch keine Aussagen.


Sehr geehrte Damen und Herren,

In ihrer Ausgabe 4/12 betrachtet die Stiftung Warentest Sicherheitssoftware. Dabei wurden insgesamt 18 Antiviren- und Internetsicherheitsprodukte getestet. Als Verbraucher schätzen wir die Arbeit der Stiftung Warentest als Testgremium auch wegen ihrer Unabhängigkeit überaus. Um so mehr wundern wir uns, dass die Testmethoden leider nur unzureichend beschrieben sind. So ergibt sich der Eindruck, dass der Schwerpunkt auf veraltete Testmethoden gelegt wurde, die vor einigen Jahren absolut valide waren – es heute aber leider nicht mehr sind. Jedoch scheint diese Methode weder die Funktionsweise moderner Sicherheitssoftware innerhalb der getesteten Programme zu prüfen noch das Verhalten der Benutzer oder tatsächlicher Infektionen abzubilden. Herstellerübergreifend und zusammen mit unabhängigen Softwaretestern bieten wir Ihnen deshalb eine offene Diskussion über Ihre Testmethoden an und hoffen, Ihnen dabei einige Anregungen geben zu können, um zukünftig realitätsnähere Testergebnisse erzielen zu können.

Wie Sie sicher wissen, gibt es auch schon kritische Kommentare Ihrer Leser auf Ihrer Webseite, die auch nicht in ihrem Sinne sein können (https://www.test.de/themen/computer-telefon/test/Schadprogramme-Angriff-aus-dem-Internet-4348485-4348487/). Mit ZDNet hat zudem auch ein führendes deutsches IT-Onlinemedium das Thema bereits kritisch aufgegriffen: http://www.zdnet.de/news/41561250/stiftung-warentest-findet-nur-vier-von-18-antiviren-programmen-gut.htm.

Vor diesem Hintergrund fragen wir uns, warum die Stiftung Warentest nicht von Beginn an mit etablierten Testinstituten in diesem Bereich zusammengearbeitet hat, die auf eine moderne Testmethodik setzen, um die tatsächliche Gefährdungslage für Nutzer und die Leistung der Schutzsoftware in einem realistischen Szenario abzuprüfen und diese auch vergleichbar zu machen. Auch die Anti Malware Testing Standards Organization hat grundlegende Empfehlungen veröffentlicht, um Testern dabei zu helfen, Aufbau und Durchführung Ihrer Tests zu optimieren. Unser Eindruck ist, dass diese in ihrem Test nicht berücksichtigt wurden.

Besonders folgende Aspekte der Testmethoden der Stiftung Warentest müssen wir leider hinterfragen:

Die verwendeten Methoden prüfen im Schwerpunkt die reaktive signaturbasierte Erkennung von inaktivem Schadcode ab, anstelle von praxisnahen Tests, die alle vorhandenen Schutz-und Erkennungstechnologien (z.B. verhaltensbasierte Erkennung) mit einschlieβen und auf die Hauptinfektionswege (Internetseiten mit aktivem Schadcode, z.B. Drive-by) fokussieren.

Es macht heutzutage keinen Sinn mehr, Sicherheitsprodukte zum Teil ohne Internetverbindung zu testen. Die Hauptinfektionsquelle ist das Internet und Malware benötigt das Internet, um Schaden anzurichten. Ein Hauptzweck von Malware, wie von Ihnen auch im Artikel beschrieben, ist das Stehlen von Daten, diese müssen allerdings über das Internet übertragen werden. Das Beispiel mit einem USB-Stick ist demnach zwar valide, was die Infektion an sich angeht, aber der echte Schaden könnte abgewendet werden, da die Schutzprodukte die Schadfunktion stoppen würden, sobald eine Internetverbindung besteht. Würde man den Schädling von dem USB-Stick ausführen oder nach dem Kopieren auf die Maschine starten würde man feststellen, ob andere Schutzmethoden wie die verhaltensbasierte Erkennung greifen. Selbst ein Programm ohne eine einzige Signatur könnte in der Realität einen sehr guten Schutz bieten, indem dynamische Erkennung oder Reputationsprüfung genutzt wird. Dies wird in Ihrem Test aber nicht berücksichtigt.

Zudem mahnt ihr Test die langsamen Updates der Virensignaturen an und weist darauf hin, dass bei einigen Herstellern die Updatefrequenz nicht eingestellt werden kann. Dies ist bei Cloud-basierenden Reputations-Dienstleistungen obsolet, da diese Arbeit in der Wolke gemacht wird – bei bestehender Internetverbindung. Die Wolke wird also ständig aktualisiert, so dass die Notwendigkeit für Updates auf dem Client entfällt.

Für mehr Transparenz: Unser Angebot zur offenen Diskussion

Die Stiftung Warentest erwähnt in der Testbeschreibung nicht, wie aktive Malware und Drive-By-Downloads getestet wurden. Auch die die näheren Beschreibungen die nach der Testveröffentlichung online von Ihnen veröffentlicht wurden, werfen leider weitere Fragen auf.

Deshalb würden wir gerne einige weitere Themen mit Ihnen diskutieren: Was waren die Quellen der Samples? Wie hat die Stiftung Warentest sichergestellt, dass es sich tatsächlich um Malware handelt? Wurde nur die Erkennung über Signaturen oder wurde auch der Schutz getestet (was passiert bei Ausführung des Schadprogrammes, wird auch wirklich alles geblockt)? Wurden keinerlei Reparatur- oder Systemwiederherstellungstests durchgeführt? Wie gut helfen die Produkte bei einer Infektion? Es scheint einen einseitigen Fokus auf Signaturen zu geben. Was ist mit dynamischer Erkennung oder Reputationsprüfung?

Warum wurden keine Fehlalarm-Tests durchgeführt? Damit sind die Erkennungsraten mit Vorsicht zu genießen. Ein Produkt, das einfach alles erkennt (sowohl gutartige als auch bösartige Dateien), hätte in Ihrem Test – soweit wir ihn momentan verstehen – hervorragend abgeschnitten, wäre aber in der Realität nicht zu gebrauchen. Warum lief der Test auf virtuellen Maschinen? Das kann die Ergebnisse verfälschen, da digitale Schädlinge auf virtuellen Maschinen anders reagieren können bzw. nicht oder nicht richtig funktionieren, so dass auch keine erkennungswürdige Schadfunktion vorliegt.

Anerkannte Teststandards

Europaweit renommierte Labors für das Testen von Sicherheitssoftware arbeiten heute nach folgenden Standards: Alle Samples werden live aus dem Internet geladen – zeitnah zum Test (maximal 24 Stunden alt). Alle Samples werden zeitgleich mit allen Produkten getestet. Die Samples werden ausgeführt. Alle Sicherheitskomponenten innerhalb eines Produkts werden getestet, um die Effektivität des Gesamtpakets aufzuzeigen. Es wird das Angriffsszenario und nicht ein einzelnes Produktfeature abgekoppelt vom Gesamtpaket getestet. So stellt man sicher, dass man keine Produkte benachteiligt, die ein bestimmtes Feature nicht haben, aber in der gleichen Situation trotzdem mit einer anderen Technologie schützen. Bei über 70.000 neuen Schädlingen pro Tag ist Signaturerkennung nur noch eines von mehreren Mitteln, die zur Verfügung stehen – es müssen alle Funktionen eines Sicherheitsprodukts überprüft werden.

Leider fehlt bei Ihrem Test eine detaillierte Beschreibung der Methoden, die uns helfen würde, Ihr Vorgehen besser zu verstehen. So könnten wir auch besser nachvollziehen, warum Sie ein bestimmtes Angriffsszenario zur Bewertung der Produkte gewählt haben. Dann lassen sich die Resultate richtig bewerten – aus unserer Sicht, aber vor allem auch aus Sicht der Verbraucher.

Derzeit haben wir den Eindruck, dass Ihre Veröffentlichung bei Verbrauchern und Nutzern unserer Produkte zu einer gewissen Verunsicherung führt, die aus unserer Sicht nicht notwendig ist. Um diese Punkte unparteiisch und transparent mit Ihnen zu besprechen und anschließend eventuell auch wissenschaftlich überprüfen zu lassen, schlagen wir vor, die Testmethodik und die verwendeten Samples unter Einbeziehung einer unabhängigen und unbeteiligten Stelle zu diskutieren.

Hierfür hat sich mit der AV-TEST GmbH eines der renommiertesten Testinstitute Europas bereit erklärt, entweder im Labor der Stiftung Warentest oder in den Geschäftsräumen des AV-TEST-Instituts.

Zudem ersuchen wir die Stiftung Warentest nachdrücklich, in ihrer nächsten Ausgabe an hervorgehobener Stelle darauf hinzuweisen, dass sie mit uns diese Punkte diskutiert und ihre Leser zu informieren, dass die verwendeten Testszenarien, die bei vielen Produkten zu schwachen Ergebnissen geführt haben, in Alltagssituationen nicht auftreten. Zudem bitten wir Sie, einen herstellerübergreifenden Dialog mit uns aufzunehmen, um künftig die Alltagssituation Ihrer Leser in Ihren Tests besser abbilden zu können.

Mit freundlichen Grüssen

Claus Meisel, Checkpoint
Klaus Jetter, F-Secure
Josef Pichlmayr, Ikarus
Magnus Kalkuhl, Kaspersky Lab
Toralv Dirro, McAfee
Markus Mertes, Panda Security
Stefan Wesche, Symantec
Raimund Genes, Trend Micro
Andreas Marx, AV-Test

Anklicken um die Biografie des Autors zu lesen  Anklicken um die Biografie des Autors zu verbergen