Guten Abend zum KDB-Tech-Update: Wenn KI Vertrauen ausnutzt
Willkommen zum abendlichen KDB-Tech-Update! Heute geht es im Blog und im Podcast um eine behobene Sicherheitslücke bei ChatGPT, mutmaßlichen Millionenbetrug mit KI-imitierten Stimmen und eine einfache, aber entscheidende Frage: Wer darf in Deinem Unternehmen eine Überweisung auslösen – und wie wird die Anweisung überprüft? Außerdem schauen wir auf KI-Spielzeug, digitale Souveränität, neue Werkzeuge für Entwicklerteams und die Zukunft von Kassenbon und Homeoffice. Kurz gesagt: viel Technik, aber vor allem viele Entscheidungen für Menschen. Also, packen wir’s an.
ChatGPT: Manipulierter Freigabe-Link konnte private Chats offenlegen
OpenAI hat eine Sicherheitslücke in ChatGPT behoben, die das Unternehmen als besonders dringlich einstufte. Nach Angaben der Sicherheitsforscher von Parameter genügte es, einen präparierten Freigabe-Link zu einem Chatverlauf zu öffnen. Dadurch konnte fremder Code innerhalb der aktiven ChatGPT-Sitzung ausgeführt werden. In ihren kontrollierten Tests lasen die Forscher über interne Schnittstellen auch bislang unveröffentlichte Unterhaltungen aus. Grundsätzlich seien zudem Aktionen im Namen des betroffenen Kontos möglich gewesen.
Wichtig für die Einordnung: Der vorliegende Bericht nennt keine Hinweise darauf, dass die Schwachstelle tatsächlich gegen Nutzer eingesetzt wurde. OpenAI behob sie demnach innerhalb von acht Tagen serverseitig; eigene Maßnahmen wegen genau dieses Fehlers sind für Nutzer nicht erforderlich.
Der Vorfall erinnert dennoch an eine grundlegende Regel für den KI-Einsatz im Betrieb: In einen Chat gehören nur Informationen, deren Verarbeitung durch den jeweiligen Dienst zum vorgesehenen Zweck passt. Wer KI für Angebote, interne Abläufe oder Kundenkommunikation verwendet, sollte festlegen, welche Daten eingegeben werden dürfen und wer Zugriff auf Konten und Gesprächsverläufe erhält. Genau solche Regeln sind Teil einer vernünftigen KI- und Sicherheitsstrategie – nicht bloß ein Zettel im Intranet, den nachher keiner liest.
Auch die Speicherfunktionen verdienen Aufmerksamkeit. Eine im Bericht erwähnte Studie untersuchte 2.050 Memory-Einträge von 80 ChatGPT-Nutzern. In 28 Prozent der analysierten Einträge fanden sich personenbezogene Angaben im Sinne der DSGVO, in 52 Prozent psychologische Einschätzungen. Die Ergebnisse beschreiben diese untersuchte Stichprobe, nicht pauschal alle ChatGPT-Nutzer. Sie zeigen aber, warum Unternehmen neben der eigentlichen Eingabe auch gespeicherte und aus Gesprächen abgeleitete Informationen im Blick behalten sollten.
KI-Stimmklone und angebliche Chefs: Überweisungen brauchen einen zweiten Prüfweg
Eine US-Anklage beschreibt ein mutmaßliches Betrugsmuster, bei dem drei Männer mit künstlich erzeugten Stimmen und Bildern von Führungskräften sowie der Rolle angeblicher Anwälte Überweisungen von insgesamt rund 129 Millionen US-Dollar veranlasst haben sollen. Die Vorwürfe sind nicht gerichtlich bewiesen; für die Beschuldigten gilt die Unschuldsvermutung.
Der geschilderte Ablauf ist für Unternehmen trotzdem lehrreich: Erst meldet sich vermeintlich der Chef, dann bestätigt ein angeblicher Anwalt ein vertrauliches Geschäft und nennt eine Bankverbindung. Die Täuschung setzt nicht allein auf eine überzeugende KI-Stimme. Sie kombiniert bekannte Autorität, Geheimhaltung und Zeitdruck zu einem scheinbar plausiblen Prozess.
Was schützt? Eine Zahlungsanweisung darf nicht allein deshalb gültig sein, weil am Telefon die richtige Stimme zu hören ist oder im Videobild das vertraute Gesicht erscheint. Bei ungewöhnlichen Überweisungen und geänderten Bankdaten braucht es einen festgelegten Freigabeprozess und eine Rückfrage über einen bereits bekannten, unabhängigen Kontaktweg. KDB kann solche Abläufe gemeinsam mit Unternehmen gestalten und technisch unterstützen – mit klaren Zuständigkeiten statt dem Prinzip „Der Chef hat’s halt gesagt“.
Dasselbe gilt im Kleinen für verdächtige Anrufe. Ein einzelnes „Hallo“ macht Deine Nummer nicht automatisch zum Betrugsziel und führt nicht zwangsläufig zu einem Stimmklon. Kritisch wird es, wenn Anrufer persönliche Daten, Geld oder sofortiges Handeln verlangen. Dann: Gespräch beenden und die angebliche Person oder Organisation über eine selbst herausgesuchte beziehungsweise bereits bekannte Nummer kontaktieren. Nicht die Begrüßung ist das Problem, sondern der Druck danach.
KI für Kinder: Eine freundliche Stimme ersetzt keine Sicherheitsprüfung
Wie schwierig verlässliche KI-Antworten sein können, zeigt ein Test der BBC mit einem in Großbritannien angebotenen KI-Kuscheltier für Kinder ab drei Jahren. Auf eine Frage nach der Bedeutung des Wortes „sexuell“ reagierte das Gerät offenbar mit einem Missverständnis und gab ungefragt Hinweise zum Umgang mit Selbstverletzung. Nach einer Klarstellung entschuldigte es sich. Die BBC konnte den Hersteller nicht feststellen und damit auch keine Erklärung für die Antwort einholen.
Ein einzelner Test beschreibt nicht das Verhalten aller KI-Spielzeuge. Er zeigt aber ein besonderes Risiko: Bei Produkten für kleine Kinder genügt es nicht, einen Chatbot in eine niedliche Hülle zu stecken. Antworten, Fehlinterpretationen und der Umgang mit sensiblen Themen müssen sorgfältig geprüft werden. Auch für Unternehmen außerhalb der Spielzeugbranche ist das eine brauchbare Leitfrage: Wer trägt Verantwortung, wenn eine KI-Ausgabe zwar technisch erzeugt, für die Zielgruppe aber ungeeignet ist?
Digitale Souveränität: Große KI-Ziele brauchen konkrete Entscheidungen
Die Bundesregierung will Deutschland bis 2030 als KI-Standort stärken und technologische Abhängigkeiten verringern. Ein vorgestelltes Maßnahmenpaket mit 18 Punkten sieht unter anderem vor, die allgemeine Rechenkapazität zu verdoppeln und KI-Kapazitäten möglichst zu vervierfachen. Ein Kommentar zur Strategie kritisiert allerdings, dass für einen Großteil der Vorhaben verbindliche Zeitpläne fehlen und frühere Kooperationspläne bislang nicht wie angekündigt umgesetzt wurden.
Für Betriebe lässt sich daraus eine praktische Frage ableiten: Wie abhängig macht uns eine Lösung im Alltag? Vor der Einführung einer Cloud- oder KI-Plattform lohnt der Blick auf Datenzugriffe, Exportmöglichkeiten, Kosten, Zuständigkeiten und einen realistischen Wechsel zu einem anderen Anbieter. Digitale Souveränität bedeutet nicht zwingend, alles selbst zu betreiben. Sie bedeutet, auch morgen noch handlungsfähig zu sein. Mehr dazu findest Du in unserem früheren KDB-Tech-Update zu KI und digitaler Souveränität.
Zur Infrastrukturfrage gehört auch der Ressourcenbedarf. In Amsterdam protestierten Hunderte Menschen gegen den Bau eines Microsoft-Rechenzentrums; ein Teil der Aktion eskalierte mit einem gewaltsamen Eindringen auf die Baustelle, die Polizei nahm nach eigenen Angaben zwischen 150 und 200 Personen fest. Unabhängig von der Eskalation macht der Konflikt deutlich, dass der Ausbau digitaler Dienste auch Fragen nach Energiebedarf und Akzeptanz vor Ort aufwirft. Wer mehr KI-Kapazität fordert, sollte diese Seite der Rechnung nicht ausblenden.
Entwickler-Update: Mehr Agenten, aber Sicherheit bleibt Handarbeit
In Entwicklungsumgebungen wächst der Platz für KI-Agenten. Visual Studio Code 1.145 bringt unter anderem App-Vorschauen für Remote-Sitzungen und zeitlich planbare Automatisierungen. Laravel Herd 2.0 bietet ein Browser-Panel für Coding-Agenten sowie isolierte Workspaces, in denen mehrere Agenten innerhalb einer Anwendung arbeiten können. BoxLang AI 3.6 ergänzt Werkzeuge zur Browsersteuerung, Sprachverarbeitung und Anbindung von MCP-Servern.
Für Teams, die damit Prozesse automatisieren, ist die Versuchung groß, Agenten möglichst weitreichenden Zugriff zu geben. Sinnvoller sind begrenzte Berechtigungen, überprüfbare Ergebnisse und klare Freigaben für Änderungen an produktiven Systemen. Ein Agent kann Arbeit abnehmen; die Verantwortung für seinen Zugriff und seine Ergebnisse bleibt beim Team. Dieses Thema haben wir bereits im KDB-Tech-Update zu KI-Agenten und digitaler Verantwortung aufgegriffen.
Daneben gibt es einen konkreten Update-Hinweis: Für JetBrains MPS wurden Sicherheitsupdates im Zusammenhang mit kompromittierten eMudhra-Zertifikaten veröffentlicht. Wer MPS einsetzt, sollte die betroffenen Versionen und die vorgesehenen Aktualisierungen prüfen. Bei den Versionen 2025.2.5 und 2025.1.5 soll zusätzlich JCEF über das Registry-Flag ide.browser.jcef.enabled deaktiviert werden.
Für Betreiber großer GPU-Umgebungen ist außerdem Nvidias Kubernetes Engine NVKE interessant. Sie soll isolierte Kubernetes-Cluster als Managed Service bereitstellen, befindet sich aber noch in der Preview. Nvidia empfiehlt sie derzeit nicht für den Produktivbetrieb. Unter anderem fehlen in der Preview Backup- und Restore-Funktionen für die Verwaltungsebene sowie eine Rechteverwaltung innerhalb der API: Jeder zugelassene Aufrufer kann alle Workload-Cluster anlegen und löschen. Ein guter Reminder, dass „auf GitHub verfügbar“ und „betriebsbereit“ zwei ziemlich unterschiedliche Dinge sind.
Digitaler Kassenbon: Erst Prozesse planen, dann Papier sparen
Ein vom Bundeskabinett beschlossener Gesetzentwurf könnte die automatische Ausgabe von Papier-Kassenbons ab 2028 abschaffen. Beschlossenes Recht ist das noch nicht; das Gesetzgebungsverfahren steht aus. Nach dem Entwurf könnten Kunden ihren Beleg beispielsweise per QR-Code, Download-Link oder Kundenkonto digital abrufen. Wer einen Papierbon möchte, soll ihn weiterhin verlangen können.
Für Händler ist das mehr als eine Frage nach dem Kassendrucker. Ein digitaler Beleg muss für Kunden einfach auffindbar sein und zu den bestehenden Kassen- und Serviceprozessen passen. KDB unterstützt bei der Gestaltung digitaler Abläufe und verständlicher Kundenkommunikation. Bis eine mögliche Neuregelung tatsächlich gilt, bleibt die bisherige Belegausgabepflicht für betroffene Händler bestehen.
Auch für Kunden gilt: Nicht jeden Bon achtlos wegklicken. Kaufbelege können bei Gewährleistungsansprüchen, Versicherungsfällen oder steuerlich relevanten Ausgaben wichtig sein. Digital ist praktisch – sofern Du später noch findest, was Du brauchst.
Homeoffice: Weniger Flexibilität löst keine Prozessprobleme
Eine Bitkom-Umfrage unter mehr als 600 Unternehmen zeigt ein Spannungsfeld beim mobilen Arbeiten: 54 Prozent ermöglichen es derzeit zumindest gelegentlich, zugleich haben 39 Prozent ihre Homeoffice-Möglichkeiten seit dem Ende der Pandemie eingeschränkt und weitere 17 Prozent sie abgeschafft. Viele Unternehmen sehen Vorteile für die Vereinbarkeit von Familie und Beruf sowie für die Suche nach Beschäftigten, sorgen sich aber um Teamzusammenhalt und die Einarbeitung neuer Kolleginnen und Kollegen.
Die Frage „Büro oder Homeoffice?“ greift dabei oft zu kurz. Entscheidend ist, ob Informationen erreichbar, Aufgaben nachvollziehbar verteilt und Zugriffe sicher geregelt sind – unabhängig vom Arbeitsort. KDB unterstützt Unternehmen dabei, IT-Sicherheit, digitale Zusammenarbeit und automatisierte Prozesse so zu gestalten, dass Flexibilität nicht im Chaos endet. Und wenn persönliche Einarbeitung wichtig ist, gehört auch dafür ein bewusster Plan her.
Zum Schluss: Technik darf schnell sein – Entscheidungen müssen sauber bleiben
Die heutigen Meldungen haben einen gemeinsamen Nenner: KI und Digitalisierung können Abläufe beschleunigen, aber Vertrauen lässt sich nicht automatisieren. Prüfe ungewöhnliche Zahlungsanweisungen unabhängig, gib KI-Werkzeugen nur passende Daten und Rechte, halte eingesetzte Software aktuell und plane digitale Prozesse aus Sicht der Menschen, die sie täglich nutzen. Des isch vielleicht weniger spektakulär als der nächste große KI-Slogan – im Betrieb aber deutlich mehr wert.
