Marcus Ranum är en av mina favoritpersoner i branschen, alltjämt skeptisk, även rörande 2013 DBIR. På Tenables blogg beskriver han hur statistiken tydligt pekar på att armenierna är ett avsevärt större hot än kineserna; åtminstone om man tar hänsyn till antalet allokerade IPv4-adresser respektive land har. Det är förstås tongue-in-cheek men de problem han tar upp är på riktigt.

Immediately my hyper-skeptical subconscious started nagging me, wondering about sampling bias, and nodding in admiration at the sciency-sounding vagueness of ”external actors”, and so forth. For example, I wondered how on earth one could accurately categorize what an attack is, given that an attack might consist of anything between grandma’s home computer getting amoeba’d into a botnet or a massive trojan-based corporate penetration with data exfiltration and horizontal spread. Then I started wondering whether, perhaps, Verizon gets a disproportionate view of the landscape because of who they are, and I decided to simply ignore the chart and turn the page. […]

If my network is compromised with a trojan is that one unit of attack (object: my network) or ten units (object: my home servers, desktop, laptop, and the machine I play World of Warcraft on) or two units (object: my log server and my file server)? […]

Another thing to pay attention to is the Y-axis. You can manipulate the data by deciding what goes in which bucket, thereby controlling which bucket is bigger.

Som sagt så är Verizon RISK Team både noggranna och öppna med bristerna i underlaget men i en tid och bransch där det (äntligen) är på modet att fatta beslut utifrån data måste vi vara extra försiktiga.