KI-Agenten · 2 Min. Lesezeit · Goran Mikac

Ein KI-Agent durfte nur lesen, und trotzdem landeten Bankdaten in Slack. Eine Checkliste für kleine Unternehmen

Lesen auf: Hrvatski English Deutsch

Laut Techdirt hat Shane Mac, CEO des Softwareunternehmens XMTP Labs, Grok Bot mit seinem Bankkonto verbunden; seine Kontostände landeten im Slack-Kanal seiner Firma, gepostet, als hätte er sie selbst geschrieben. Der Finanz-Agent hatte nur Leserechte, aber ein zweiter Agent auf demselben Rechner hatte Zugriff auf Slack. Gartner sagt voraus, dass bis 2027 40 % der Unternehmen autonome KI-Agenten zurückstufen oder abschalten werden. Sie müssen nicht auf Agenten verzichten, sollten aber wissen, worauf jeder einzelne zugreifen kann.

Was passiert ist

Laut Techdirt sagte Mac, der Grok Bot für seine Finanzen habe keinen Slack-Zugriff gehabt, ein anderer von ihm genutzter Grok Bot aber schon; die beiden Agenten hätten „zusammengearbeitet“, um zu „helfen“. Techdirt schreibt, Mac habe nicht gewusst, dass andere Agenten auf demselben Rechner andere Rechte haben. Die Rechte eines Agenten bedeuten wenig, wenn er Daten an einen anderen Agenten weitergeben kann, der Nachrichten senden darf.

In derselben Woche berichtete TechCrunch, dass Angreifer in ein älteres System des KI-Programmiertools OpenCode eingedrungen sind; betroffen waren 1,4 % der Nutzer der OpenCode Console, in der manche Nutzer API-Schlüssel für KI-Dienste speichern. Einige Nutzer meldeten Kosten von mehreren Hundert Dollar pro Konto, einige wenige mehr als 1.000 Dollar. Über diesen Vorfall haben wir am 18. Oktober berichtet.

Gartner nennt einen binären Ansatz als Hauptursache: Ein Agent ist entweder komplett gesperrt oder genießt volles Vertrauen. Gartner schlägt vier Stufen vor: einen Agenten, der beobachtet (nur Lesen), einen, der berät (Entwürfe, ein Mensch führt aus), einen, der nur mit ausdrücklicher Freigabe jeder Aktion handelt, und einen, der selbstständig handelt, mit laufender Überwachung und schneller Stopp-Möglichkeit. Die Prognose betrifft große Unternehmen, dieselbe Logik gilt aber auch für eine Firma mit fünf Mitarbeitenden.

Mikac Web & SEO

Was bedeutet das für Sie

  1. Ein Agent, eine Aufgabe, minimale Rechte. Geben Sie jedem Agenten nur den Zugriff, den er für eine Aufgabe braucht. Ein Agent, der Rechnungen zusammenfasst, braucht weder E-Mail noch Slack. Ein Agent, der Bankdaten, Gehälter oder Kundendaten sieht, gehört nicht auf dasselbe Konto oder denselben Rechner wie ein Agent, der Nachrichten senden oder veröffentlichen darf.
  2. Sensible Daten gehören nicht in gemeinsame Kanäle. Finanz- und Personendaten haben in einem gemeinsamen Slack, in Teams oder in einer WhatsApp-Gruppe nichts zu suchen. Wenn ein Agent Ihnen Berichte schickt, dann nur an Sie, als Direktnachricht.
  3. Ein Mensch gibt Senden und Zahlen frei. Jede Kunden-E-Mail, jeder Beitrag, jede Bestellung und jede Zahlung wartet auf Ihren Klick. Das ist Gartners Stufe „Handeln mit Freigabe“ und für die meisten kleinen Unternehmen eine sinnvolle Obergrenze. Dazu: ein API-Schlüssel pro Tool, ein Ausgabenlimit, wo der Anbieter es anbietet, und ein Protokoll darüber, was welcher Agent getan hat.
Kostenlos · Antwort innerhalb von 24 Stunden

2-Punkte-Auswertung

Sie wissen nicht, wie angreifbar Ihre Website ist oder was KI-Assistenten und Suchmaschinen dort sehen? Schicken Sie mir Ihren Link. Innerhalb von 24 Stunden erhalten Sie einen Befund zu Ihrer Website, einen zu Ihrer Sichtbarkeit bei Google und in der KI-Suche sowie einen empfohlenen nächsten Schritt. Für kleine Unternehmen und Selbstständige, unverbindlich.

Newsletter · einmal pro Woche

Wöchentlicher KI-Überblick für kleine Unternehmen

Einmal pro Woche: KI-News und was sie für Ihr Unternehmen bedeuten.

Double-Opt-in: Wir senden Ihnen eine E-Mail mit einem Bestätigungslink. Das Abo gilt erst, wenn Sie darauf klicken.

X Facebook

Quellen

Techdirt stützt sich auf einen Beitrag von Shane Mac auf X, den wir nicht gesondert geprüft haben. Die Kosten bei OpenCode haben Nutzer selbst angegeben.