It-säkerhet enligt HPS

Stefan Pettersson på High Performance Systems skriver om säkerhet på svenska

Tagg: mäta säkerhet

Att mäta säkerhet igen

I think information security is quite possibly the most intellectually challenging profession on the planet. -Dr. Dan Geer

För ett halvår sedan skrev jag om att mäta säkerhet. Jag berättade om chefen på banken som tyckte att vi var idioter som inte kunde besvara frågor som ”Hur säker är banken?” och ”Spenderar jag rätt mängd pengar på säkerhet?”. Otroligt nog var det här inte vilken chef som helst, det var informationssäkerhetschefen… Borde inte en sån lirare vara insatt i problematiken?

Förra inlägget handlade mer eller mindre bara om att vi säkerhetsfolk inte har ett bra sätt att mäta säkerhet. Chefen på banken tycker uppenbarligen att det här är synnerligen osedvanligt och förvånande. Det i själva verket är ett ganska alldagligt problem. Jämför frågan ”hur säker är jag?” med t ex:

  • Hur lätt är det att använda er nya DVD-spelare?
  • Hur hållbar är din armbandsklocka?
  • Hur nöjda är ni med er lägenhet?
  • Hur snygg är din flickvän?
  • Hur bra ljud har du i dina högtalare?
  • Hur länge håller min nya hårddisk?

Det finns, utan tvekan, lämpliga svar på de här frågorna; det är jättelätt, den klarar av ett fall från 10 meter sju gånger av tio, vi trivs bättre än i förra lägenheten, hon är snyggare än Liv Tyler, fylligheten i mellanregistret är fantastisk, mean-time-between-failure är fem år o s v. De är dock inga mätetal. Det är subjektiva uppfattningar, jämförelser, lösryckta exempel och statistik. Varför finns det inte bankchefer där ute som är upprörda över att Western Digital inte på förhand kan berätta när hårddisken ska gå sönder?

Vi är vana vid det här problemet och tänker inte ens på det. Varför kan vi inte hantera säkerhet på samma sätt?

Vad gör vi när vi behöver trovärdiga svar på liknande frågor? DVD-spelaren till exempel; vi tar in en eller flera experter som har studerat användbarhet, som har erfarenhet av de hundratals DVD-spelare som gjorts tidigare, som vet vilka symboler folk förstår, som vet hur stor en knapp borde vara, var de borde vara placerade, hur det ska kännas att trycka på en knapp, etc. Man gör användartester, låter dem fylla i formulär, filmar dem medan de använder spelaren; gamla människor, unga människor, kvinnor, män, handikappade, etc.

Vad skulle den här analysen som användbarhetsexperterna genomfört leda till? 4,8 eller något annat värde mellan 1 och 10? Knappast, det skulle resultera i ett antal så-här-borde-du-göra. Rekommendationer man tyvärr måste lita på eftersom det är deras jobb att kunna sånt här. Det är förstås fritt fram (och uppmuntrat) för dig att ifrågasätta en rekommendation, experterna ska kunna försvara och motivera dessa.

Varför tycker ingen att detta är upprörande; att användbarhetsexperter inte heller kommer med mätetal?

Vadan denna fixering vid mätvärden?
Jo, problem som kräver experter är komplicerade. Så pass komplicerade att beslutsfattaren inte förstår problemet och därför inte kan göra bedömningen själv. Av denna anledning räcker tydligen inte heller rekommendationerna som beslutsunderlag. Vad som är lätt för beslutsfattaren, däremot, är att använda en enkel skala från 1 till 10 som underlag i frågor denne inte behärskar. (”Jag betalar om det är mer än 7,5. Det känns lagom.”)

Det här måste helt enkelt betyda att beslutsfattaren inte litar på experten och lever i villfarelsen att siffror inte kan ljuga.

Att mäta säkerhet på Internetdagarna

(Publicerad 2009-11-06)

I veckan höll .SE sin stora, årliga konferens Internetdagarna på Folkets hus i Stockholm. En workshop hölls under rubriken ”Measuring the health of the Internet”.

Jag var inbjuden för att delta i rundbords-diskussionen om att mäta säkerhet. Ett sjukt svårt ämne, tyvärr. Man kan säga att forskningen på området till stor del drivs av Dan Geer. En ärrad veteran som var med under Project Athena och (bland annat) är känd för att ha sparkats från @stake efter att ha kritiserat deras största kund; Microsoft. Rapporten som resulterade i avskedet, en intervju av Gary McGraw.

I en presentation berättar Geer om hur han konfronterades med en Chief Information Security Officer från en stor Wall Street-bank. CISO:n sade ”Är ni säkerhetsfolk så korkade att ni inte kan berätta för mig…”:

  • Hur säker jag är?
  • Om jag har det bättre i år än vid samma tid förra året?
  • Om jag spenderar rätt mängd pengar på säkerhet?
  • Hur jag har det i jämförelse med andra i branschen?

”Om jag hade varit på någon annan avdelning på banken, obligationsportföljer, aktiehandelsstrategier eller prissättning av derivat så hade jag kunnat besvara frågorna med fem decimalers nogrannhet.”

Det är svårt att mäta säkerhet. Alla är överens om att det vore väldigt bra att kunna göra det. Det skulle leda till att vi kan kontrollera hur mycket säkerhet vi får för en viss peng, det skulle vara möjligt att kontrollera om säkerheten har blivit bättre eller sämre efter en förändring, det skulle vara en barnlek att jämföra olika system och så vidare. Framförallt; om vi kan mäta så kan vi sätta en gräns för vilken säkerhet som är tillräckligt bra och hålla oss till den. Som (svenska) kunder alltid säger; vi vill inte ha fullständig säkerhet, vi är ingen bank, vi vill ha lagom.

Mätning kräver en mätenhet och en kvantitet av detta så frågan är egentligen; vilken mätenhet ska vi använda?

Tyvärr går det inte att jämföra med att räkna pengar, mäta avstånd, väga vikter eller andra, konkreta mätningar. Säkerhet är oerhört komplext och abstrakt, det finns ingen naturlig enhet.

Vi sänker ambitionsnivån lite. Vi fokuserar på mindre system, inte en hel Bank utan kanske en applikation.

Den populäraste enheten är utan tvekan ”antal upptäckta sårbarheter”. Den användes till exempel av Microsoft under 2007 för att påvisa att Internet Explorer var säkrare än Firefox (pdf). Microsofts rapport möttes av en del kritik

Tyvärr är enheten ”antal upptäckta sårbarheter” pinsamt ofullständig. Många frågor väcks genast:

  • Hur många letade?
  • Hur länge letade de?
  • Hur duktiga var de?
  • Hur stort är systemet?
  • Hur komplext är systemet?
  • Var slutar systemet?
  • Hur allvarliga var sårbarheterna?
  • Hur svåra är sårbarheterna att utnyttja?
  • Under hur lång tid gick de att utnyttja?
  • Kommer nya sårbarheter att introduceras? Vad gäller för dessa?

Om vi ska ta hänsyn till dessa och alla andra faktorer som spelar in kommer vi att få en rejält komplicerad enhet i knäet. Med all sannolikhet kommer vi aldrig komma till den punkten eftersom det i princip är omöjligt att bestämma relationen mellan alla dessa faktorer. Man skulle lugnt kunna säga att fåniga enheter i stil med newton-ampere-sekunder-per-kilogram-kvadratmeter skulle kännas fullständigt naturliga i jämförelse…

Vi backar och förenklar ytterligare en aning. Kan vi mäta enskilda säkerhetshål?

Om vi kan bryta ner en tänkt, komplicerad mätenhet i flera, enkla enheter som genom någon relation till varandra motsvarar den komplexa borde det underlätta.  Det är lätt att se hur felbedömningar är ovanligare om mätvärdet är simpelt och väldefinierat, kanske till och med diskret. Ju fler enkla mätvärden som kombineras desto mer exakt blir i sin tur kompositvärdet.

Ett exempel på detta är Common Vulnerability Scoring System (CVSS). CVSS används för att värdera hur allvarlig en sårbarhet är genom att göra en beräkning utifrån 14 värden fördelade i tre grupper. Varje värde är diskret, det finns mellan fyra och fem alternativ för varje.  Resultatet efter beräkningen av CVSS är ett värde mellan 0 och 10 och en ”CVSS-vektor” som beskriver varje delvärde.

Jag rundar av det här innan det svävar iväg för lå(n)gt. Området är svårt och, åtminstone jag, känner att det verkar rätt hopplöst. Lyckligtvis är det inte såna som jag som arbetar med det. Jag kommer att fortsätta på ämnet en uppföljande post.

Trevlig helg!