KI und Cybersicherheit – Vergiftete Brunnen und andere Risiken
von , veröffentlicht am 19.04.2024Lesenswerter Artikel zu (Generativer) KI und Cybersicherheit in Forbes:
Hier einige Herausforderungen für die nahe Zukunft:
- Injektionen mittels Prompts: die reine Eingabeaufforderung ohne fachliche Anleitung kann zu riskanten Ergebnissen führen. Ein böswilliger Nutzer könnte z.B. einen Code (anstelle einer E-Mail-Adresse) eingeben, der von der Website interpretiert und ausgeführt werden könnte - ein so genannter Injektionsangriff - der möglicherweise sensible Daten kompromittiert oder Schaden anrichtet.
- Vergiftung des Brunnens: Bei der Vergiftung von KI-Daten werden irreführende oder bösartige Informationen, die als legitim erscheinen, in die Trainingsmaterialien eingefügt.
- Fehler bei den Eingabedaten: Ein Mitarbeiter gibt versehentlich nicht anonymisierte Kundeninformationen in die Trainingsdaten ein.
- Deepfakes: Ein gut gemachtes Deepfake-Video könnte eine auf KI basierende trainierte Gesichtserkennungssoftware dazu verleiten, sich einzuloggen, und so unbefugten Zugang gewähren. Ein Angreifer könnte eine Stimmimitation erstellen, um Systeme zur Stimmauthentifizierung zu umgehen.
Zitat aus dem Artikel: „Ein bösartiger Akteur zu sein, der generative KI einsetzt, ist erstaunlich billig, und der Gewinn kann beträchtlich sein. Kostenlose oder kostengünstige Toolkits zur Erstellung von Deepfakes, synthetischen Daten und bösartigen Anwendungen sind online verfügbar. Obwohl einige technische Kenntnisse erforderlich sind, ist die Einstiegshürde deutlich niedriger als bei traditionellen Hacking-Methoden.“
Weiterführend dazu der Bericht des BSI vom 27.03.2024 „Generative KI-Modelle Chancen und Risiken für Industrie und Behörden.“
Wie sehen Sie diese Herausforderungen insbesondere im Hinblick auf die Schutzmaßnahmen und Dokumentationspflichten nach der DS-GVO?
Hinweise zur bestehenden Moderationspraxis
Kommentar schreiben
3 Kommentare
Kommentare als Feed abonnierenEin wirklich großes Problem dürfte im Echtzeit-Betrieb die Möglichkeit der Re-Identifizierung von Personen aus anonymisierten Daten sein. Wenn dadurch der bei Rechtsanwalt X als Herr A. in allen möglichen Konstellationen verarbeitete Hermann Meyer aus der Musterstraße 1 in Musterstadt als Patient des Urologen Y und als Kunde der Versender 1 bis 20 re-identifiziert und nackt auf die Straße gestellt wird, obwohl alle Nutzer die Daten anonymiesert haben, könnte das schon ein Problem sein, zumal verborgen bliebe, wo das Leck ist.
Für KI dürfte ein solche Re-Identifizierung ein nettes Sodoku sein, das aufgeht, wenn nur genügend Nutzer anonymisierte Daten verarbeiten und diese Daten für das Training verwendet werden.
Die Red-Identifizierug ist sich ein Risiko. Das BSI hat es entsprechend identifiziert.
R14. Re-Identifizierung von Personen aus anonymisierten Daten LLMs werden mit Daten aus verschiedenen Quellen trainiert und erleichtern daher die Kombination und Verknüpfung dieser Daten. Nutzende können dies zur Re-Identifikation1 von Personen missbrauchen (Nyffenegger, et al., 2023). Hierbei können LLMs den Arbeitsaufwand im Vergleich zu manuellen Methoden wesentlich reduzieren.
Interessant ist, dass die großem GPIA das öffentlich zugängliche Internet zum Training schon ausgeschöpft haben: https://www.yahoo.com/news/ai-companies-running-training-data-220047540.html?guccounter=1&guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=AQAAACUv6zOXA119BUW4YatjBFmRlBsQY7Nd8_evUa2Oq84snT0c1QexqFrHum7DXpUY_QLCcigLc_-Ijhtp1Xu__uVzRo-QQkRDTGt-FuKM1IpZElROnpx_GJ_3mwfSb4ObBTWI5oV2ZJruuLGLKSOelh4YuPZUE0QDfWuA0is8N7mZ Wir werden vermutlich zahlreich Lizenzvereinbarungen zu neuem Trainingsmaterial sehen, um den KI-Hunger zu stillen.
Das o.g. BSI Dokument wird uns noch beschäftigen.
"LLMs werden häufig als Service über das Internet mittels geeigneter Schnittstellen angeboten, z.B. unter Verwendung eines Webbrowsers. Neben der Gefahr des ungewollten Abflusses der Ein- und Ausgaben während der Datenübertragung besteht die Möglichkeit, dass das betreibende Unternehmen auf die Daten zugreift und sie gegebenenfalls zum weiteren Training des Modells nutzt."
Insb. der letzte Punkt ist sehr praxisrelevant.