Die aktuelle Folge im Podcast ‚Auslegungssache‘ des Heise Verlags hat den Titel Neue Dimensionen der Mitarbeiterüberwachung. Und beschäftigt sich im wesentlichen mit dem Paper ‘EMPLOYEES AS RISKS’ (PDF) von den Cracked Labs in Wien, welches im August 2024 veröffentlicht wurde. Autor ist Wolfie Christl, der sich selbst als u. a. als Netzaktivist im Bereich der gesellschaftlichen Auswirkungen neuer Informations- und Kommunikationstechnologien bezeichnet.
Worum es geht: Überwachung und Profilbildung bis ins letzte Detail
Was er in dem Paper macht ist eine umfangreiche Beschreibung der Überwachungsfunktionen, die Anbieter wie Microsoft inzwischen in ihre Produkte integriert haben und auf deren Nutzung sie aggressiv drängen, und die eine Überwachung der Nutzer*innen bzw. der Mitarbeiter*innen in Unternehmen ermöglichen, deren Umfang zumindest mir so nicht klar war. Durch die schnelle Entwicklung von KI wird diese Überwachung sogar auf das geschriebene und gesprochene Wort ausgedehnt und das ist sicher noch nicht das Ende. Durch leistungsfähige Cloudinfrastrukturen ist weder der Datenhaltung noch der Rechenleistung eine Grenze gesetzt.
Meine persönliche Meinung ist, dass ich niemals in einer Organisation arbeiten möchte, die ihre Mitarbeitenden in so einer Weise überwacht. Aber es gibt hier einen gleitenden Übergang von für die IT Sicherheit sinnvollen und notwendigen Informationssammlungen und (automatisierten) Auswertungen hin zu einer überbordenden Profilbildung und individualisierten Verhaltensanalyse, wie sie mit dem Microsoftprodukten mit wenigen Klicks ermöglicht wird. Die schwierige Frage ist wo man den Grat erreicht sieht, den man nicht überschreiten sollte.
Was Microsoft Unternehmen anbietet
In dem Paper geht es nicht nur um Microsoft, aber da die Produkte dieses Anbieters so allgegenwärtig sind habe ich mich nur auf diesen Abschnitt konzentriert. Es lohnt sich selbst einmal den entsprechenden Abschnitt durchzulesen, aber ChatGPT gibt einem diese Zusammenfassung:
Produkte und Funktionen:
- Microsoft bietet umfassende Systeme wie Sentinel (Security Information and Event Management, SIEM) und Purview (Insider-Risikomanagement, Compliance, Datenverlustprävention, eDiscovery).
- Purview analysiert Mitarbeiteraktivitäten und -kommunikation, um Risiken zu erkennen und „risikobehaftete“ Mitarbeiter zu identifizieren. Dabei werden Daten aus Microsoft 365, HR-Systemen und weiteren Quellen verwendet.
- Mit Defender und anderen Tools werden Anomalien, Datenlecks, Verstöße gegen Sicherheitsrichtlinien sowie „riskantes“ Browsing erkannt.
Überwachung und Analyse:
- Mitarbeiter werden anhand von „Trigger-Events“ wie Kündigungen, schlechten Leistungsbewertungen oder Regelverstößen profiliert.
- Überwachung umfasst Dateiveränderungen, Kommunikation (E-Mails, Chats, Transkripte von Meetings), Drucker- und USB-Aktivitäten sowie physische Zutrittsdaten.
Zweck und Mechanismen:
- Ziel ist die Prävention von Insider-Bedrohungen, Compliance-Verstößen und Datenverlust.
- KI-gestützte Systeme bewerten und melden auffälliges Verhalten und erstellen Risikobewertungen.
- Es gibt spezielle Richtlinien (z. B. für Datenlecks, unangemessene Kommunikation oder Sicherheitsverletzungen).
Risiken und Bedenken:
- Potenzial für fehlerhafte Bewertungen und Eingriffe in die Privatsphäre von Mitarbeitern.
- Systeme erlauben weitreichende Eingriffe, einschließlich der Erfassung von Bildschirmaufnahmen und Inhalten aus persönlicher Kommunikation.
Angetrieben sind diese Funktionen von dem Wunsch Unternehmensdaten zu schützen und zwar insbesondere vor Innentätern. Aber auch Complianceregeln sollen sich durchgesetzt werden und hier gibt es einen weiten Rahmen, der vom Aufdecken von Vorteilsnahme über Verrat von Geschäftsgeheimnissen bis hin zum kommunikativem Verhalten (unangemessener Kommunikationsstil) reicht.
Die Produkte beziehen dazu jede für sie verfügbare Datenquelle ein: Browserverläufe, Aktivitäten wie den Zugriff auf Dateien, Mail- und Chatverläufe, automatische Transkriptionen von Videokonferenzsoftware, Daten aus Personalverwaltungssystemen etc..
Die Kopplung mit Personalsystemen ist zum Beispiel die Quelle für sogn. ‚Stressors‚, die Mitarbeitende dann in den Fokus einer verstärkten Überwachung geraten lassen.
Was kann überwacht werden und was wird überwacht?
Als Fazit kann man auf die Frage, welche Aktivitäten in derart konfigurierten Microsoftprodukten überwacht werden, einfach antworten ALLES:
- Alles, was man an einem Rechner tut (jeder Klick, jeder Tastenanschlag)
- Alles, was man in Hörweite eines Rechners tut (mindestens in Videokonferenzen)
- Alles, was man in Sichtweite der Kamera eines Rechners tut (falls das heute noch nicht der Fall ist wird es sicher bald nachgereicht)
- Weitere Informationen, die andere Personen, z. B. Vorgesetzte, in angeschlossenen IT Systemen wie einer Personalverwaltung über einen hinterlassen
- Weitere Verhaltensinformationen etwa aus digitalen Schließsystemen
Bewertung
Diese Punkte sind mir beim Anhören der Diskussionen im Podcast und beim späteren Lesen dazu durch den Kopf gegangen:
Die allwissende Müllhalde als idealer Einstiegspunkt für Angreifer
Es entsteht eine neue Stelle, die in ungeheurem Umfang Personen-, Verhaltens- und Unternehmensdaten sammelt bis hin zu Inhalten von Dateien, die angeschaut wurden und Bildschirmaufzeichnungen. Jenseits der Fragen ob dies sinnvoll und erlaubt ist stellt so ein System einen sehr lohnenden Angriffspunkt dar, den es vorher nicht gab.
Die Erfahrung zeigt, dass sich Angreifer schnell auf solche Systeme konzentrieren, und ein Einbruch kann ungeheure Wirkungen haben: Dort lassen sich umfangreiche Informationen über Organisations- und Systemstrukturen finden, möglicherweise erpressbare Mitarbeitende und auch kritische Dateien, die in ihren Quellsystemen ganz besonderen Schutzmechanismen unterliegen.
Definition von ‘abweichendem’ Verhalten durch allgemeine Überwachung
Das so eine ungeheure Datensammlung angelegt wird liegt zum Teil in der Natur der Sache: Wenn man abweichendes Verhalten automatisiert erkennen möchte, dann braucht man zuvor eine Definition was ’normal‘ ist und die lässt sich am einfachsten über möglichst umfangreiche, historische Daten erzeugen.
Der hier bewusst in Kauf genommene Nebeneffekt: Um einige, wenige problematische Mitarbeitende zu finden werden Profile von allen angelegt. In anderen Kontexten hat sich für so ein Vorgehen der Begriff der anlasslosen Massenüberwachung eingebürgert.
KI und andere Automatismen
In die Produkte zur Überwachung halten KI-Technologien in rasanter Geschwindigkeit Einzug. In der langen Checkliste von Indikatoren, die sich wählen lassen für eine Überwachung, finden sich auch Dinge wie ‚Use of offensive language in email‘:
Für so ein Textverständnis werden KI oder NLP (natural language processing) Techniken benötigt und es gibt auch Funktionen, die Bilder verarbeiten und aus gesprochener Sprache erzeugte Texte analysieren. Falls es das noch nicht gibt werden sicher auch bald Indikatoren aus Videoaufnahmen hinzukommen, die das Verhalten und die Stimmung in Videokonferenzen bewerten.
Die riesige Datenmenge kann nur noch automatisiert verarbeitet werden und für Menschen in stark komprimierten Dashboards verfügbar werden, die dann z. B. Prozentanzahlen von verdächtigen Mitarbeitenden zeigen.
Beherrschbarkeit und Verantwortung
Sowohl die riesigen Datenmengen, die Generierung von Indikatoren durch opake Verfahren wie Sprachmodelle, die anschließende weitere Aggregation auf einige wenige Datenpunkte erzeugen dann ein System, dessen Beherrschbarkeit und Transparenz man sehr stark anzweifeln kann. Dieser Punkt wird auch im Podcast diskutiert u. a. aus der Erfahrung heraus, dass schon heutige Systeme nicht vollständig verstanden werden und damit eine rechtliche Bewertung faktisch nicht möglich ist. Die kann ja nur erfolgen, wenn man weiß, was da passiert.
Aller Erfahrung nach werden die Personen, die für die Auswertung der Ergebnisse dieser Systeme verantwortlich sind, auch nur zu bereit sein sich auf deren Aussagen zu verlassen, vor allem wenn noch künstliche ‚Intelligenz‘ drauf steht.
Selbstverstärkende Effekte
Kann es hier zu selbstverstärkenden Effekten kommen? Die Nutzung von ‚Stressor‘-Indikatoren aus dem Personalsystem könnte so ein Beispiel sein:
Jemand erhält eine schlechte Bewertung durch seine Vorgesetzten, die im Personalsystem dokumentiert wird. Das Überwachungssystem sieht diesen ‚Stressor‘ und bewertet nun das Verhalten der Person neu. Zusammen mit anderen, bisher nicht als relevant befundenen Vorfällen, könnte dies die Person nun über eine Schwelle rücken lassen, die eine Warnung im System erzeugt.
Wenn nun die Systemverantwortlichen – oder das System automatisch – dazu eine Rückfrage bei den Vorgesetzen auslösen, führt das dann nicht zur Bestätigung des Eindrucks, dass hier ein schlechter Mitarbeiter ist, und in der Folge vielleicht zur Entlassung?
DSGVO und KI Verordnung
Die Frage, in wie weit solche Systeme in Deutschland einsetzbar wären, ist ebenfalls Thema im Podcast, aber hier hängt es natürlich sehr von der Ausgestaltung ab. Zwei Punkte sind mir als juristischem Laien dazu eingefallen:
- Datenschutz und Zweckbindung: Die Systeme führen Daten aus sehr vielen Systemen zusammen, z. B. aus Personalverwaltungssystemen. In der DSGVO definiert etwa der §5 die Zweckbindung von erhobenen Daten. Man kann wohl davon ausgehen, dass in keinem existierenden Personalverwaltungssystem die Nutzung für diesen Zweck schon vorgesehen war. Hier müsste man dann zumindest den Aufwand betreiben die Rechtsgrundlage der Quellsysteme, deren Daten in die Überwachung eingehen sollen, entsprechend zu erweitern
- KI Verordnung und Anwendungen mit unannehmbarem Risiko: Die gerade startende KI Verordnung hat eine Definition von Anwendungen mit unannehmbarem Risiko, siehe den folgenden Absatz. Die spannende Frage ist hier wohl, ob das hier genannte social scoring auf die Profilierung von Mitarbeitenden im Unternehmenskontext anwendbar ist. Vermutlich ist das um so mehr der Fall, je stärker das persönliche Verhalten etwa im Umgang mit anderen Personen ausgewertet wird:
Unannehmbares Risiko: KI-Systeme, von denen eine klare Bedrohung für die Grundrechte der Menschen ausgeht, sind verboten. Dies gilt z. B. für Systeme, die Behörden oder Unternehmen eine Bewertung des sozialen Verhaltens ermöglichen (Social Scoring). (https://commission.europa.eu/news/ai-act-enters-force-2024-08-01_de)
Weitere Zementierung der Abhängigkeit von Microsoft
Ein letzter Punkt, der einen ganz anderen Aspekt behandelt, ist die Frage der weiter wachsenden Abhängigkeit von den Produkten von Microsoft. Bisher hat die – schon jetzt kaum auflösbare – Abhängigkeit in der Nutzung der Office Produkte und des Exchange Mailservers bestanden.
Mit dem Gang in die Cloud kommen weitere Aspekte hinzu wie das Loginsystem (Entra), welches Microsoft mit seinen starken Sicherheitsfunktionen bewirbt, die auch bereits auf Profilbildungsfunktionen beruhen.
Die Nutzung einer weiteren, tief integrierten Funktion wie den hier beschriebenen Systemen, macht einen Wechsel zu einem anderen Anbieter noch einmal auf einer weiteren Ebene schwierig bis unmöglich.
