Metodologia

Jak testujemy narzędzia cyberbezpieczeństwa

Najbardziej przejrzysta metodologia rankingu cyberbezpieczeństwa na polskim rynku. Żadnych tajemniczych algorytmów, żadnych płatnych pozycji - tylko dane z certyfikowanych laboratoriów testowych i precyzyjny wzór punktacji, który możesz zweryfikować samodzielnie.

Dane z AV-TEST Institute Dane z AV-Comparatives Aktualizacja co miesiąc
Krok 1 z 4

Źródła danych

Nie prowadzimy własnych testów malware - korzystamy z danych instytucji, które robią to zawodowo od dekad, dysponują wyspecjalizowaną infrastrukturą i są uznawane przez cały przemysł cyberbezpieczeństwa. Opieramy się na dwóch źródłach:

AV-TEST Institute
Magdeburg, Niemcy
Działalność niezależny instytut IT security, testy od 2004 r.
Próbki malware 1 247+ próbek per cykl testowy (Real-World)
Cykle testów Real-World Protection Test, Performance Test, Usability Test
Skala ocen punkty zbiorcze, maks. 18 pkt (6+6+6)
Strona av-test.org
AV-Comparatives
Innsbruck, Austria
Certyfikacja ISO 9001 certyfikowane laboratorium
Główne testy Real-World Protection, Performance, Malware Protection
Nagrody Product of the Year, Advanced+, Advanced, Tested
Częstotliwość raporty kwartalne i roczne zbiorowe
Strona av-comparatives.org
Dlaczego tylko te dwa laboratoria? AV-TEST i AV-Comparatives są od lat standardem cytowanym przez EICAR, AMTSO oraz przez samych producentów oprogramowania w materiałach marketingowych. Inne laboratoria (np. SE Labs, MRG Effitas) monitorujemy i możemy włączyć jako dodatkowe źródło w przyszłości.
Krok 2 z 4

Co mierzymy - trzy wymiary oceny

Każdy produkt oceniamy w trzech wymiarach. Suma wag wynosi zawsze 100%. Poniżej pełny opis każdego wymiaru ze źródłem danych i logiką normalizacji.

Wykrywalność zagrożeń
40%
waga

Procent zagrożeń zablokowanych w testach Real-World Protection - mierzony bezpośrednio z raportów AV-TEST i AV-Comparatives. Dane pobierane są z ostatnich dwóch cykli testowych (ok. 4 miesiące) i uśredniane, żeby wygładzić jednorazowe anomalie.

Dlaczego pokazujemy zakres 95-100%? Praktycznie żaden produkt na rynku nie schodzi poniżej 90% wykrywalności w testach Real-World. Skala 0-100% sprawiałaby, że różnice między produktami byłyby niewidoczne. Wyświetlamy zakres 95-100%, w którym koncentruje się rzeczywista rywalizacja między najlepszymi produktami.

Real-World Protection Test AV-TEST + AV-Comparatives % zagrożeń zablokowanych średnia z 2 cykli
Wpływ na wydajność systemu
30%
waga

Mierzy, jak bardzo produkt spowalnia system. AV-TEST w ramach Performance Test mierzy pięć kategorii: użycie procesora podczas kopiowania plików, czas uruchamiania często używanych aplikacji, czas pobierania i instalowania aplikacji, czas uruchamiania systemu oraz czas wczytywania stron internetowych.

Skala 1-6: AV-TEST przyznaje od 1 do 6 punktów w kategorii Performance. Skalujemy te punkty do dziesiętnej skali w naszym rankingu (6 pkt AV-TEST = 10 pkt cyberranking, 1 pkt AV-TEST = 1 pkt cyberranking).

AV-TEST Performance Test CPU podczas kopiowania plików czas uruchamiania systemu czas instalacji aplikacji czas ładowania stron
Użyteczność i stosunek ceny do wartości
30%
waga

Łączy dwa podwymiary w jedną ocenę. Użyteczność (15%) to wynik AV-TEST Usability - liczba fałszywych alarmów przy normalnym użytkowaniu, blokowanie legalnych stron i programów. Cena/wartość (15%) to ocena uwzględniająca cenę rocznej licencji, liczbę chronionych urządzeń, obsługiwane platformy (Windows, macOS, Android, iOS) oraz dodatkowe funkcje w pakiecie.

Dla produktów biznesowych zamiast ceny detalicznej bierzemy pod uwagę cenę za stanowisko (per-seat), możliwości centralnego zarządzania (konsola) i łatwość wdrożenia.

AV-TEST Usability Test fałszywe alarmy cena roczna liczba urządzeń Windows / macOS / Android / iOS
Kategoria: VPN

VPN - jak oceniamy

Dla sieci VPN nie istnieje odpowiednik AV-TEST ani AV-Comparatives. Żadna niezależna instytucja nie prowadzi regularnych, certyfikowanych testów porównawczych VPN z ujednoliconą metodologią. Nasze oceny w tej kategorii opierają się na publicznie dostępnych danych, audytach bezpieczeństwa przeprowadzonych przez firmy trzecie oraz specyfikacjach technicznych podawanych przez producentów - nie na własnym laboratorium.

Uczciwe zastrzeżenie Nie dysponujemy własnym laboratorium do testowania VPN. Oceny bazują na publicznie dostępnych danych, audytach bezpieczeństwa przeprowadzonych przez firmy trzecie oraz specyfikacjach technicznych podawanych przez producentów. Prędkość VPN zależy od lokalizacji, ISP i obciążenia serwera - podawane wartości są orientacyjne.
Prędkość
30%
waga

Opieramy się na wynikach testów prędkości publikowanych przez renomowane serwisy recenzenckie (m.in. PCMag, Tom's Guide, Wirecutter). Nie mierzymy prędkości samodzielnie - wyniki zależą od lokalizacji serwera, dostawcy internetu i obciążenia infrastruktury VPN w danym momencie, więc podawane wartości należy traktować jako orientacyjne.

wyniki zewnętrznych recenzji prędkość pobierania i wysyłania spadek prędkości względem bez VPN
Bezpieczeństwo
30%
waga

Oceniamy obsługiwane protokoły szyfrowania (WireGuard, OpenVPN, IKEv2), obecność kill switcha, ochronę przed wyciekiem DNS oraz wyniki niezależnych audytów bezpieczeństwa, jeśli zostały przeprowadzone. Audyty są dobrowolne i nie wszystkie firmy je realizują - brak audytu obniża ocenę w tej kategorii.

WireGuard / OpenVPN / IKEv2 kill switch ochrona przed wyciekiem DNS niezależne audyty bezpieczeństwa
Prywatność
20%
waga

Analizujemy politykę braku logów (no-logs policy) i jej niezależną weryfikację audytową (m.in. NordVPN, Surfshark i ProtonVPN przeszły audyty swoich polityk no-logs). Bierzemy pod uwagę jurysdykcję siedziby firmy - Panama, Holandia i Szwajcaria są poza tzw. sojuszem 14 Eyes, co zmniejsza ryzyko prawne przymusu ujawnienia danych.

polityka no-logs audyt polityki prywatności jurysdykcja (14 Eyes / poza)
Funkcje i cena
20%
waga

Uwzględniamy liczbę serwerów i krajów, liczbę jednoczesnych połączeń, obsługę split tunelingu, wsparcie dla streamingu (Netflix, BBC iPlayer itp.) oraz cenę miesięczną przy abonamencie rocznym. Dane o serwerach i funkcjach pobieramy z oficjalnych stron producentów.

liczba serwerów i krajów jednoczesne połączenia split tunneling streaming cena miesięczna
Skala bloków w rankingu (kolumna „Prędkość") Każdy wypełniony blok oznacza spełnienie jednego z sześciu kryteriów. Wartość procentowa = liczba bloków ÷ 6 × 100%, zaokrąglona do pełnych procent.
  1. Obsługa protokołu WireGuard
  2. Kill switch (blokada internetu przy zerwaniu połączenia)
  3. Ochrona przed wyciekiem DNS i IPv6
  4. Polityka no-logs zweryfikowana niezależnym audytem firmy trzeciej
  5. Jurysdykcja poza sojuszem 14 Eyes
  6. Prędkość - czołowe wyniki w zewnętrznych testach recenzenckich (PCMag, Tom's Guide)
Kategoria: Menedżer haseł

Menedżer haseł - jak oceniamy

Menedżery haseł nie podlegają testom wykrywalności malware - to nie jest ich funkcja. Nie istnieje certyfikowane laboratorium, które testowałoby menedżery haseł w sposób porównywalny z AV-TEST dla antywirusów. Ocena opiera się na standardach szyfrowania, architekturze zero-knowledge, wynikach niezależnych audytów oraz weryfikowalnych specyfikacjach funkcjonalnych.

Uczciwe zastrzeżenie Menedżery haseł nie podlegają testom wykrywalności malware. Ocena bezpieczeństwa opiera się na standardach szyfrowania, architekturze zero-knowledge oraz wynikach niezależnych audytów (jeśli zostały przeprowadzone). Nie mamy możliwości weryfikacji wewnętrznych praktyk bezpieczeństwa producentów.
Bezpieczeństwo
40%
waga

Oceniamy standard szyfrowania (AES-256 lub XChaCha20), architekturę zero-knowledge (czy producent technicznie nie ma dostępu do Twoich haseł), wyniki niezależnych audytów bezpieczeństwa oraz historię incydentów (breachów). Brak audytu lub udokumentowany poważny incydent bezpieczeństwa istotnie obniża ocenę w tej kategorii.

AES-256 / XChaCha20 architektura zero-knowledge niezależne audyty bezpieczeństwa historia incydentów
Funkcjonalność
30%
waga

Sprawdzamy jakość autouzupełniania w przeglądarkach, obsługę 2FA i kluczy dostępu (passkeys), możliwość bezpiecznego udostępniania haseł, raporty kondycji haseł (wykrywanie słabych, powtórzonych, wyciekłych haseł) oraz dostępność na wszystkich głównych platformach (Windows, macOS, iOS, Android).

autouzupełnianie 2FA i passkeys udostępnianie haseł raport kondycji haseł wieloplatformowość
Użyteczność i cena
30%
waga

Oceniamy jakość interfejsu użytkownika i rozszerzeń przeglądarkowych, łatwość importu i eksportu haseł z innych menedżerów, dostępność planów rodzinnych i zespołowych, obecność bezpłatnego planu (i jego realne ograniczenia) oraz cenę planu premium.

UI i UX rozszerzenia przeglądarkowe import / eksport plan rodzinny / zespołowy bezpłatny plan cena premium
Skala bloków w rankingu (kolumna „Bezpieczeństwo") Każdy wypełniony blok oznacza spełnienie jednego z sześciu kryteriów. Wartość procentowa = liczba bloków ÷ 6 × 100%, zaokrąglona do pełnych procent.
  1. Szyfrowanie AES-256 lub XChaCha20
  2. Architektura zero-knowledge (szyfrowanie wyłącznie po stronie klienta)
  3. Niezależny audyt bezpieczeństwa przeprowadzony przez firmę trzecią
  4. Obsługa 2FA oraz kluczy dostępu (passkeys)
  5. Monitoring wycieków - automatyczne alerty przy naruszeniu baz danych
  6. Zaawansowane zabezpieczenie dostępu (np. Secret Key, klucze sprzętowe U2F)
Kategoria: Antymalware

Skanery antymalware - jak oceniamy

Skanery antymalware (Malwarebytes, HitmanPro) to osobna kategoria od antywirusów. Nie działają stale w tle jako pierwsza linia obrony - służą jako uzupełniający drugi skan, uruchamiany na żądanie lub po podejrzanym zdarzeniu. Nie uczestniczą w standardowych testach AV-TEST przeznaczonych dla oprogramowania z ochroną w czasie rzeczywistym.

Różnica metodyczna Skanery uzupełniające oceniamy na podstawie testów MRG Effitas (on-demand malware detection), testów AV-Comparatives On-Demand Scan oraz dokumentacji producentów. Wykrywalność odnosi się do zagrożeń, które ominęły główny antywirus - to ich specjalizacja, nie porównanie z Bitdefenderem na tych samych próbkach.
Wykrywalność
45%
waga

Odsetek próbek złośliwego oprogramowania wykrytych w trybie skanowania na żądanie (on-demand). Dane z testów MRG Effitas i AV-Comparatives On-Demand. Priorytet: zagrożenia, które ominęły inne rozwiązania (adware, PUP, spyware, rootkity).

MRG Effitas on-demand AV-Comparatives On-Demand wykrywalność bez fałszywych alarmów
Ochrona przed ransomware
25%
waga

Obecność dedykowanego modułu anty-ransomware, sposób jego działania (sygnatury vs. analiza behawioralna) oraz możliwość przywracania zaszyfrowanych plików. Moduł oparty na zachowaniu (nie sygnaturach) otrzymuje wyższą ocenę.

moduł anty-ransomware analiza behawioralna przywracanie plików
Użyteczność i cena
30%
waga

Dostępność bezpłatnej wersji z pełnym skanowaniem, łatwość obsługi, liczba obsługiwanych platform oraz cena wersji premium. Bonus za możliwość uruchomienia bez instalacji (pendrive / portable exe).

bezpłatna wersja tryb portable (bez instalacji) wieloplatformowość cena premium
Skala bloków w rankingu (kolumna „Funkcje") Każdy wypełniony blok oznacza spełnienie jednego z sześciu kryteriów dla skanerów antymalware.
  1. Wykrywalność ≥95% w testach MRG Effitas lub AV-Comparatives On-Demand
  2. Dedykowany moduł anty-ransomware oparty na analizie behawioralnej
  3. Ochrona w czasie rzeczywistym (wersja premium)
  4. Bezpłatna wersja z pełnym skanowaniem na żądanie
  5. Obsługa systemów innych niż Windows (Mac, Android, iOS)
  6. Możliwość uruchomienia bez instalacji (tryb portable)
Krok 3 z 4

Jak obliczamy wynik końcowy

Wszystkie trzy wymiary są normalizowane do skali 0-10, a następnie łączone ważoną sumą. Wynik końcowy zawsze mieści się w przedziale 0-10.

Wzór punktacji cyberranking.pl
Wynik = Wykrywalność × 0,40 + Wydajność × 0,30 + Użyteczność/Cena × 0,30
Wszystkie składowe są znormalizowane do skali 0-10 przed zastosowaniem wag. Wynik końcowy zaokrąglamy do jednego miejsca po przecinku.
Przykładowe obliczenie - produkt z wynikiem 9,2
Wykrywalność (znorm. 0-10) 99,4% → 9,7 pkt × 0,40 = 3,88
Wydajność (znorm. 0-10) 5,5 pkt AV-TEST → 9,1 pkt × 0,30 = 2,73
Użyteczność/Cena (znorm. 0-10) Usability 5,5 + Cena 7,0 → 8,6 pkt × 0,30 = 2,58
Wynik końcowy 3,88 + 2,73 + 2,58 = 9,2 / 10
Krok 4 z 4

Dla osób vs. dla firm - dwa oddzielne rankingi

Potrzeby osoby prywatnej i działu IT w firmie różnią się fundamentalnie. Dlatego prowadzimy dwa oddzielne rankingi, oparte na różnych raportach i innych kryteriach oceny.

Użytkownicy indywidualni

Ranking osobisty

  • Trzy kategorie: Antywirus, VPN, Menedżer haseł - każda z własną metodyką oceny
  • Antywirus: dane z raportów AV-TEST Home User
  • VPN: prędkość, bezpieczeństwo, prywatność, funkcje i cena
  • Menedżer haseł: szyfrowanie, funkcjonalność, użyteczność i cena
  • Cena detaliczna (PLN), pokrycie platform, łatwość obsługi
  • Opcje licencji dla osoby prywatnej lub rodziny
Firmy i organizacje

Ranking biznesowy

  • Dane z raportów AV-TEST Business User
  • Cena per-seat (za stanowisko, min. 5 urządzeń)
  • Konsola centralnego zarządzania (on-premise / cloud)
  • Zasady grupowe i zdalne wdrożenie (MSI/MDM)
  • Raportowanie i alerty bezpieczeństwa
  • Wsparcie techniczne (SLA, język polski)
Różne kategorie - różna metodologia Każda z trzech kategorii rankingu osobistego (Antywirus, VPN, Menedżer haseł) jest oceniana inaczej, ponieważ różne narzędzia mają różne funkcje i dostępne są dla nich różne rodzaje danych. Antywirus korzysta z danych laboratoriów AV-TEST i AV-Comparatives. VPN i menedżery haseł oceniamy na podstawie publicznie dostępnych specyfikacji, audytów bezpieczeństwa i recenzji zewnętrznych - bez własnego laboratorium testowego.

Częstotliwość aktualizacji danych

Dane w rankingu aktualizujemy co miesiąc - wtedy, gdy AV-TEST lub AV-Comparatives publikują nowe raporty. Poniżej harmonogram procesu aktualizacji:

1
Monitorowanie publikacji raportów
Śledzimy strony AV-TEST i AV-Comparatives - nowe raporty pojawiają się zwykle w połowie miesiąca za poprzedni okres testowy.
2
Ekstrakcja danych liczbowych
Pobieramy surowe wyniki: procenty wykrywalności, punkty Performance, punkty Usability. Dane wpisujemy ręcznie z weryfikacją krzyżową.
3
Normalizacja i obliczenie wyników
Dane są normalizowane do skali 0-10 i łączone wzorem punktacji. Sprawdzamy, czy wyniki są sensowne i zgodne z trendami.
4
Aktualizacja cen i dostępności
Weryfikujemy aktualne ceny z oficjalnych stron producentów i sklepów partnerskich. Ceny zmieniają się niezależnie od cyklu testów.
5
Publikacja z datą aktualizacji
Nowy ranking trafia na stronę główną ze zaktualizowaną datą „Ostatnia aktualizacja danych". Data jest zawsze widoczna na górze rankingu.
Data ostatniej aktualizacji danych Widoczna na stronie głównej przy każdym produkcie w rankingu.

Jak zarabiamy i co to oznacza dla Ciebie

Wierzymy, że transparentność buduje zaufanie. Oto szczera odpowiedź na pytanie, jak działa nasz serwis:

🔗 Model afiliacyjny

Linki „Sprawdź" na naszej stronie to linki afiliacyjne. Jeśli klikniesz i kupisz produkt, otrzymujemy prowizję od producenta - bez dodatkowego kosztu dla Ciebie. Różne produkty oferują różne stawki prowizji. Jako serwis afiliacyjny mamy interes finansowy w promowaniu produktów.

📊 Jak to wpływa na ranking?

Ranking opiera się na danych z laboratoriów AV-TEST i AV-Comparatives. Produkty z wyższą prowizją afiliacyjną nie otrzymują automatycznie wyższej pozycji. Jednocześnie uczciwie przyznajemy, że jako serwis afiliacyjny mamy motywację do promowania określonych produktów - dlatego udostępniamy źródła danych, abyś mógł zweryfikować nasze wyniki samodzielnie.

Ograniczenia - uczciwie o tym, czego nie obejmiemy

Żadna metodologia nie jest doskonała. Poniżej szczere omówienie ograniczeń naszego podejścia, abyś mógł ocenić ranking z właściwą dozą krytycyzmu.

Testy laboratoryjne nie pokrywają wszystkich scenariuszy zagrożeń Real-World Protection Test to reprezentatywna, ale ograniczona próbka. Zagrożenia celowane (APT), ataki zero-day specyficzne dla danej organizacji czy socjotechnika nie są mierzone w standardowych testach AV.
Wyniki wydajności zależą od sprzętu testowego AV-TEST przeprowadza testy wydajności na standardowym sprzęcie referencyjnym. Na starszym sprzęcie lub komputerze z małą ilością RAM różnice między produktami mogą być znacznie większe niż wskazują wyniki laboratoryjne.
Ceny zmieniają się niezależnie od cyklu aktualizacji Producenci często organizują promocje, zmieniają strukturę pakietów i modyfikują cenniki. Staramy się aktualizować ceny co miesiąc, ale między aktualizacjami cena mogła się zmienić. Zawsze weryfikuj cenę na oficjalnej stronie producenta.
Nie wszystkie produkty mają wynik wykrywalności - oznaczamy "Nie dotyczy" Menedżery haseł, sieci VPN i narzędzia do szyfrowania dysków nie są testowane pod kątem wykrywania malware - bo to nie jest ich funkcja. Dla takich produktów wyświetlamy "Nie dotyczy" w kolumnie wykrywalności i obliczamy wynik końcowy na podstawie pozostałych wymiarów.
Produkty spoza testów AV-TEST / AV-Comparatives nie są uwzględniane Jeśli producent nie uczestniczy w certyfikowanych testach niezależnych laboratoriów, nie możemy obiektywnie ocenić jego produktu i nie umieszczamy go w rankingu - nawet jeśli jest popularny na rynku.
Masz uwagę do metodologii? Jeśli zauważysz błąd w danych, nieaktualny wynik testu lub masz sugestię dotyczącą metodologii - napisz do nas na kontakt@cyberranking.pl. Aktywnie zachęcamy do weryfikacji naszych danych przez porównanie z oryginalnymi raportami laboratoriów.