carmasec

Kennzahlen in der Cybersicherheit

Die wichtigsten Bezeichnungen erklärt

Zurück zum Themenmagazin

Messung, Metrik, KPI: Diese Begriffe werden auch bei den Themen Security Monitoring und ISMS oft verwendet – häufig jedoch im falschen Kontext. Was genau zählt tatsächlich als KPI? Wie lassen sich die Termini unterscheiden?

Key Art ISMS KPIKey-Performance-Indikatoren sind elementar in der Leistungsbewertung eines Unternehmens. Wenn sie sinnvoll gewählt und definiert werden, können sie Auskunft über Prozesse, Abteilungen oder Wirksamkeit z.B. eines Managementsystems für Informationssicherheit (ISMS) geben. Dafür werden in regelmäßigen Zeiträumen Daten gemessen, gesammelt und ausgewertet. Allerdings sind nicht alle diese erhobenen Daten als KPI zu verstehen. Manchmal sind es lediglich oberflächliche Messungen oder Metriken. Wie daraus ein KPI zu formulieren ist, zeigt sich im Detail.

KPI liegen Messgegenstand und Attribute zugrunde

Messungen überbrücken die Lücke zwischen Planung und Praxis. Anhand von Messgrößen wird angezeigt, wie der tatsächliche Status des Unternehmens ist. Aufbauend auf den Messungen lassen sich KPI herausarbeiten.

Zunächst wird ein Messgegenstand bestimmt. Er bezieht sich meist auf die Wirksamkeit einer spezifischen Maßnahme und wird in der gewünschten Maßeinheit angegeben. Im Folgenden werden dem Messgegenstand Attribute zugeteilt. Sie beschreiben die spezifischen Aspekte eines Gegenstandes, welche überwacht werden sollten. Dann entscheidet das Unternehmen über die Messmethode, die sich am besten für die Datensammlung eignet. Wie solch ein Messgegenstand und Attribute aussehen könnten, zeigt das folgende Beispiel.

  • Im Kontext des ISMS könnte ein Messgegenstand die Sensibilisierung der Mitarbeiter sein. Dafür werden zunächst in der Maßnahmenplanung des ISMS regelmäßige Security-Awareness-Schulungen vorgesehen. Ein Attribut für diesen Gegenstand ist der Abdeckungsgrad, wie viele der geplanten Mitarbeiter teilgenommen haben. Dies kann anhand von Teilnehmerlisten gemessen und als prozentuale Größe im Bezug zu den geplanten Teilnehmern abgeleitet werden. Wenn beispielsweise von 50 geplanten Mitarbeitern laut Teilnehmerlisten nur 30 Personen anwesend waren, ist nur ein Abdeckungsgrad von 60 Prozent erreicht: Ist dies ein KPI?

Achtung! Metrik ist nicht gleich KPI

Kennzahlen in der CybersicherheitMessbarkeit ist die wichtigste Eigenschaft einer Metrik. Denn Metriken sind numerische Kennzahlen, welche aus Rohdaten abgeleitet werden. Eine andere häufige Bezeichnung dafür sind Key-Performance-Indikatoren. Das ist aber nur bedingt richtig: Jeder KPI ist zwar eine Metrik, doch nicht jede Metrik ist ein KPI.

Metriken stellen lediglich Daten ohne ausgearbeiteten Zusammenhang dar. Im Gegensatz zu KPI zeigen sie keinen Erfolg der Prozesse und Maßnahmen, jedoch lassen sich aus ihnen KPI entwickeln. Diese Leistungskennzahlen entstammen einer konkreten Fragestellung und stehen stets im Bezug zur Zielsetzung. Indem eine Metrik mit einem Ziel oder Soll-Wert versehen wird, entsteht daraus der KPI. Nicht alle Maßzahlen eignen sich als KPI, da sie nicht immer einen tatsächlichen Erfolg widerspiegeln. „Wenn eine Veränderung des KPI keine Anpassung des Handelns auslöst, dann sollten die Alarmglocken schrillen“, empfiehlt der Webanalytics-Professional Maik Bruns. „In einem solchen Fall sind die Maßzahlen kein KPI.“

  • Die Aussage, dass 60 Prozent der geplanten Mitarbeiter an Security-Awareness-Schulungen teilgenommen haben, ist zunächst kein KPI, sondern nur eine Metrik. Um daraus ein KPI zu formulieren, sollte zunächst ein Ziel bestimmt werden. Dieses könnte lauten: Mindestens 90 Prozent der Mitarbeiter müssen an Schulungen teilnehmen, damit die Maßnahme als erfolgreich gilt. Mit dem Wert von 60 Prozent ist das Ziel noch nicht erreicht und weiteres Handeln ist notwendig.

Auswahl der Kennzahlenarten machen den Unterschied

Kennzahlen, aus denen sich KPI herleiten, werden in zwei Arten unterschieden: Absolute Kennzahlen und Verhältniszahlen. Absolute Zahlen werden auch Grundzahlen genannt und beschreiben Mengen als einzelne Zahl zu einem bestimmten Zeitpunkt. Sie können eine Einheit, Summe, Differenz, einen Mittelwert oder Median ausdrücken, reichen allerdings selten aus, um den gesamten Nutzen der Daten auszuschöpfen. Dafür sind Verhältniszahlen besser geeignet. Sie werden in Beziehung zu anderen Zahlen gestellt, wodurch ihre Bedeutung im Sachverhalt klar wird. Die Verhältniszahlen lassen sich weiter in Unterkategorien aufteilen:

  • Gliederungszahlen geben Anteile des Ganzen an.
  • Beziehungszahlen vergleichen zwei oder mehr Zahlen aus gänzlich verschiedenen Zusammenhängen.
  • Indexzahlen stellen eine Beziehung von zwar sachlich gleichen, jedoch räumlich oder zeitlich unterschiedlichen Größen auf.

  • Zu Beginn unseres Beispiels stellten wir fest, dass 30 Personen an Security-Awareness-Schulungen teilnahmen. Belassen wir die Kennzahl bei diesem Wert, so handelt es sich um eine Absolute Kennzahl. Da dies allerdings wenig über das ISMS und seine Wirksamkeit aussagt, sollten Verhältniszahlen bestimmt werden. Die zuvor berechnete 60-prozentige Teilnehmerquote, ist eine Gliederungszahl: Sie zeigt die Teilnehmerzahl im Bezug zur gesamten Menge der Mitarbeiter, die eine Schulung besuchen sollten. Die Beziehungszahl paart beispielsweise die Teilnahmequote mit den vorgefallenen Incidents. Die Indexzahl hingegen könnte die Entwicklung des Erfolges der Maßnahme darstellen, indem die Teilnehmermenge mit der Quote vor einem Jahr verglichen wird.

Überwachung der Risikolage

KPI hängen eng mit anderen Schlüsselindikatoren zusammen. Die Rede ist von Key-Risk-Indikatoren (KRI) und Key-Control-Indikatoren (KCI). KRIs überwachen die Risikolage einer Maßnahme, um rechtzeitig Probleme zu identifizieren und die Notwendigkeit der Maßnahme einzuschätzen. KCIs zeigen an, wie effektiv das Ziel innerhalb der Toleranzgrenzen erreicht wurde.

  • KRIs und KCIs überprüfen das Risiko und die Effizienz der Maßnahme. Eine hilfreiche KRI zu den Security-Awareness-Schulungen könnte ermittelt werden, indem während der Schulung ein präparierter Phishing-Link eingesetzt wird. Die Anzahl der Personen, die auf den Link klicken, sagt aus, wie hoch das Risiko der Security-Awareness ist. Um die Effektivität der Schulungen zu messen, könnte eine Lernkontrolle am Ende der Schulung durchgeführt werden.

Der Weg zum KPI

KPI sind nicht immer gleich KPI. Der Fokus ist unterschiedlich je nachdem, was für das Unternehmen oder innerhalb des ISMS von größter Relevanz ist. Für die Aufstellung passender KPI ist es sinnvoll, zunächst einen Blick auf bereits vorhandene Rohdaten zu werfen. Das Unternehmen dokumentiert meist ohnehin eine Vielzahl an Informationen, welche in eine Metrik, Kennzahl und schließlich KPI umgewandelt werden können. Erst danach können weitere Messungen und Messmethoden bestimmt und alle Informationen in KPI-Steckbriefen festgehalten werden, sodass schließlich ein umfangreicher Katalog entsteht.