Testing av velkjent sikkerhetssytem avslørte flere alvorlige brister

KUNNSKAP FRA KRISTIANIA: Cybersikkerhet

Norges ingeniør- og teknologorganisasjon (NITO) publiserte nylig funn fra en undersøkelse blant over 1300 av sine medlemmer. Den viser at norske ingeniører og teknologer har svært høy tillit til cybersikkerheten på egen arbeidsplass.

Mange sier imidlertid at de stoler på virksomhetens sikkerhetssystemer, men at de vet lite om hvordan de faktisk fungerer.

Ifølge NITO kan det tyde på en falsk trygghet. Jeg deler den bekymringen – og kan dokumentere at dette ikke bare gjelder teknologer i arbeidshverdagen, men også i forskningen på cybersikkerhet. 

Forskning som ikke tålte etterprøving 

Jeg er selv både praktiker og forsker, det vil blant annet si at jeg er ekspert på cybersikkerhet, teknologi koblet til internett og vedlikehold av IT-løsninger.

I fjor gjorde jeg og noen kolleger ved Kristiania en grundig etterprøving av et cybersikkerhetssystem. Systemet skal beskytte såkalte IoT-enheter – alt fra smarte høyttalere til industrielle sensorer – mot en type digitale angrep vi kaller DDoS-angrep.

DDoS-angrep (Distributed Denial of Service) overbelaster og lammer systemer ved å sende dem enorme mengder trafikk. Det kan ha alvorlige konsekvenser: alt fra pasientmonitorer til strømnett og alarmsystemer kan svikte hvis slike angrep ikke oppdages og stanses i tide.  

Jeg bestemte meg for å tekste et anerkjent system som var presentert som et intelligent forsvarssystem med nær perfekt treffsikkerhet (over 99 prosent) basert på maskinlæring og analyse av nettverkstrafikk. Men da jeg forsøkte å gjenskape resultatene for å teste systemet i praksis, fant jeg en rekke alvorlige brister: 

• Ingen IoT-enheter var brukt i testene – til tross for at systemet var ment for nettopp disse. 
• Datasettene besto av trafikk mellom vanlige datamaskiner i et virtuelt testmiljø, ikke fra realistiske IoT-scenarier. 
• Maskinlæringsmodellene var trent på irrelevante data, som IP-adresser og flow IDs (altså unike identifikatorer for en datastrøm), som varierer i virkelige nettverk og derfor gjør modellen ubrukelig i praksis. 
• Der var meningsløse matematiske ligninger. 
• Resultatene så ut til å være kopiert fra en annen studie – uten å oppgi kilden. 
• Testdatasettet inneholdt omtrent 0,16  prosent ufarlige tester som – i kombinasjon med en manipulerende måte å fremstille resultatene på – gir nærmest perfekte resultater. 
• Begreper som "kunstig intelligens" og "IoT" var brukt, ujten at disse faktisk var del av metodikken eller analysen. Dersom de har brukt KI, var begrunnelsen for bruken og resultatene tvilsomme.
• Den kanskje mest alvorlige svakheten er at forfatterne verken publiserte kildekoden eller oppga hvilket programmeringsspråk de brukte. 

Likevel ble artikkelen i 2020 publisert i det høythengende fagtidsskriftet IEEE Internet of Things Journal. Den var altså gjennomlest og godkjent av andre cybersikkerhetsforskere. At prestisjefylte fagtidsskrifter publiserer, gir forskningen et kvalitetsstempel. Denne forskningen er siden brukt som bevis på at problemet med DDoS-angrep i enheter koblet til internett (IoT) er løst. 

Det stemmer altså ikke, og vår forskning og kritiske etterprøving vant derfor prisen for beste vitenskapelige artikkel ved Norsk informasjonssikkerhetskonferanse ved NTNU i 2024. 

Tillit ikke er nok – vi må teste systemene 

Saken illustrerer et større problem: at både forskere og teknologer kan ha for høy tillit til systemer og løsninger – uten å etterprøve dem grundig nok.  

Det viktigste vi kan gjøre – som forskere, utviklere og beslutningstakere – er å være kritiske og spørre oss selv: 

• Er systemene testet i realistiske omgivelser? 
• Er resultatene åpne og etterprøvbare? 
• Er metodene relevante for formålet, eller bare teknisk imponerende? 

Skal vi bygge trygg digital infrastruktur, må vi også bygge en forskningskultur der åpenhet og etterprøvbarhet veier tyngre enn glans og hype. I cybersikkerhet er det ikke nok å tro at noe virker. Vi må vite det. 

Referanser: 

Jia, Y., Zhong, F., Alrawais, A., Gong, B., & Cheng, X. (2020). FlowGuard: An intelligent edge defense mechanism against IoT DDoS attacks. IEEE Internet of Things Journal, 7(10), 9552–9562. 

Gavric, N., Bhandari, G., & Shalaginov, A. (2024). Revisiting FlowGuard: A Critical Examination of the Edge-Based IoT DDoS Defense Mechanism. Norsk IKT-konferanse for forskning og utdanning, (3). 

NITO. (2025, 22. mai). Undersøkelse viser enorm tillit til cybersikkerhet [Pressemelding]. Kommunikasjon.no. 

Tekst: Nikola Gavric, PhD-stipendiat ved School of Economics, Innovation and Technology, Kristiania.

Denne teksten ble først publisert på forskning.no den 15. juni 2025 under tittelen "Teknologi fikk toppkarakter, men tålte ikke testing".

Vi vil gjerne høre fra deg!

Send spørsmål og kommentarer til artikkelen på e-post til kunnskap@kristiania.no.