Skip to content
Software-Checkdelta-sportsoftware-checkowasp

Zwei Systeme, mit KI gebaut. Was ein Blick von außen gefunden hat.

Delta-Sport hat Lagersystem und Service-App mit Claude gebaut. Was eine Durchsicht nach OWASP ASVS fand, und warum das kein Argument gegen KI ist.

Marten Prieß

Marten Prieß

6 Min. Lesezeit
Astronauten inspizieren von außen den Rumpf einer Rakete vor dem Start

Im September hat mich Daniel Rübensam von Delta-Sport gebeten, zwei Systeme anzuschauen, kurz bevor sie gemeinsam produktiv gehen: ein Lagersystem mit Anbindung an Warenwirtschaft und Paketdienst und eine Service-App, die Reklamationen und Kundenmails bearbeitet und Erstattungen als Bankdatei erzeugt. Beides entstand in wenigen Monaten, zum großen Teil mit Claude. Live war noch nichts, Kundendaten gab es keine. Genau der richtige Moment für einen Blick von außen.

Vorweg: Das ist kein Text darüber, dass KI-gebaute Software schlecht ist. Das Gegenteil ist der Fall, und genau das ist der Punkt.

Auf einen Blick

2Systeme
Lagersystem und Service-App, beide zum großen Teil mit Claude gebaut
4–5Werktage
Für beide Systeme, Abschluss in einem Termin von 1,5 Stunden
40+Befunde
Viel Kleinkram, eine Handvoll davon kritisch. Jeder mit Fundstelle und Auftrag
0Lücken von außen
Keine Schwachstelle, die einem Angreifer aus dem Internet Zugriff gibt

Was ich vorgefunden habe

Mehr, als die meisten Häuser haben. Beide Systeme führten ihre Entscheidungen nummeriert, mit Datum und Messwert. Die Service-App hatte eigene Sicherheitsvorgaben und schon zwei Durchsichten hinter sich, eine externe und eine mit Claude. Dazu kamen eine Liste bekannter Probleme, ein Betriebshandbuch und ein Backlog.

Auch die Grundlagen stimmten. Die Anmeldung war vollständig konfiguriert, jeder geschützte Zugang ohne Berechtigung wurde abgelehnt, Zugangsdaten lagen im Schlüsseltresor statt im Code, Geldbeträge in ganzen Cent. Eine Schwachstelle, über die ein Angreifer aus dem Internet hineinkommt, habe ich in keinem der beiden Systeme gefunden.

Was trotzdem offen war

Einige Dutzend Befunde, eine Handvoll kritisch, fast alle abseits der klassischen Sicherheitslücken. Sie lagen in drei Bereichen, in beiden Systemen an denselben Stellen.

Was stimmte

  • Entscheidungen nummeriert und dokumentiert
  • Anmeldung in beiden Systemen vollständig
  • Keine Schwachstelle mit Zugriff aus dem Internet

Wo die Funde lagen

  • Gleichzeitige ZugriffeZwei Reservierungen auf das letzte Stück
  • ProduktionsumgebungFür die Entwicklung gedacht, noch nicht enger gezogen
  • Erkennbarkeit von StörungenKeine Alarmierung, Zustandsmeldung immer „ok“

Wenn zwei gleichzeitig zugreifen, stimmen Bestand und Zahlungen nicht mehr. Beide Anwendungen gehen davon aus, dass nie zwei Vorgänge zur selben Zeit dieselben Daten anfassen. Im Lager wurden zwei gleichzeitige Reservierungen auf das letzte Stück beide angenommen, und der nächtliche Abgleich hat die Spur beseitigt. Gemessen mit einem Integrationstest gegen eine echte Datenbank, nicht vermutet. In der Service-App betraf dasselbe Muster den Zahllauf, also die Stelle, an der Geld das Haus verlässt. Dabei kannte das Projekt das Gegenmittel und setzte es an anderen Stellen korrekt ein. Es fehlte nicht das Wissen, sondern der Blick darauf, wo es am meisten zählt.

Die Produktion war eingestellt wie die Entwicklung. Sie unterschied sich von der Entwicklungsumgebung in Größe und Ausfallsicherheit, aber in keinem Sicherheitsaspekt. Netzregeln und Dienstkonten mussten für den Betrieb noch enger gezogen werden, und die Laufzeitumgebung brauchte ein Update auf eine Version, die noch Sicherheitspatches bekommt. Beides ist inzwischen umgesetzt. So etwas meldet kein Werkzeug. Das sieht man nur, wenn man die Support-Zyklen im Kopf hat.

Ein Ausfall wäre niemandem aufgefallen. Es gab keine Alarmierung, und beide Zustandsmeldungen antworteten mit “ok”, auch bei gestoppter Datenbank. Ausgerechnet diese Meldung war die erste Prüfung nach jeder Auslieferung. Im Betrieb heißt das: Ein Ausfall fällt erst auf, wenn jemand anruft.

Dazu kam Kleineres, etwa eine Begrenzung der Anfragen, die installiert, aber noch nicht eingebunden war, oder Kommandozeilen-Werkzeuge, die nicht anzeigen, gegen welche Datenbank sie laufen. Mit dem Go-live ist die Produktion damit einen Kopierfehler entfernt.

Warum KI das nicht sieht

Der Code tat überall, was er sollte. Die Befunde liegen in Fragen, die niemand gestellt hat. Was passiert, wenn zwei Leute gleichzeitig klicken? Wenn die Datenbank weg ist? Wenn der Paketdienst nicht antwortet? Wenn jemand in zwei Jahren das Skript auf der falschen Umgebung startet?

Das sind Fragen an den Betrieb, nicht an den Code. Man stellt sie, weil man einmal nachts um drei einen Zahllauf zurückgedreht hat oder erlebt hat, wie eine Zustandsmeldung, die immer grün ist, drei Tage lang einen Ausfall versteckt. Ein Sprachmodell hat das nicht erlebt. Es baut, was beschrieben wird, und es baut es gut. Es baut nicht, wonach niemand gefragt hat.

Deshalb hatten auch die beiden früheren Durchsichten andere Schwerpunkte: Ein Pentest prüft Angriffe von außen, keine gleichzeitigen Zugriffe. Und eine Durchsicht mit Claude prüft den Code gegen das, was im Code steht.

Wie die Durchsicht gelaufen ist

Ein paar Tage Lesen und Messen, ein Bericht, ein Termin. Ich habe Quellcode und Infrastruktur beider Systeme zweimal gelesen, einmal mit der Projektdokumentation und einmal bewusst ohne. Für das Lagersystem lief eine lokale Instanz, an der sich Dinge messen ließen. Den Rahmen gab der OWASP Application Security Verification Standard vor, damit nachvollziehbar bleibt, was geprüft wurde und was nicht.

Das Ergebnis war kein Pentest und kein Zertifikat, sondern ein Bericht: jeder Befund mit Fundstelle, Einstufung und einem Auftrag, den das Team direkt an Claude geben kann. Dazu eine Seite “Was ausdrücklich so bleiben darf”. Das ist keine Höflichkeit, sondern Bestand, den ein Team verteidigen kann, wenn der nächste Berater alles neu bauen will.

Aufbau eines Befunds im Prüfbericht mit Fundstelle, Beobachtung, Nachweis, Abgleich und Auftrag, daneben die Seite mit den Punkten, die so bleiben dürfen
Jeder Befund hat Fundstelle, Einstufung, Nachweis und einen Auftrag, den das Team direkt weitergeben kann. Daneben steht, was ausdrücklich so bleiben darf. (Quelle: Beispiel, keine Originalseite)

Was am Ende auf dem Tisch liegt

  1. Bericht

    rund 10 Seiten

    Ergebnis in Kürze, je System: was hält, was vor dem Go-live nötig ist, weitere Befunde. Jeder Befund mit Fundstelle und einem Auftrag, den das Team so an Claude geben kann.

  2. Abschlusstermin

    1,5 Stunden

    Die wichtigsten Befunde live vorgeführt, Fragen zum Bericht, die Reihenfolge gemeinsam festgelegt.

  3. Papier zum Betrieb

    ergänzend

    Themen, die im Code nicht zu sehen sind und erst im Betrieb auffallen: Datenmodell, Mailweg, ein Protokoll der Vorgänge.

Die wichtigen Befunde, gebündelt zu 18 Schritten in vier Stufen

  1. 3

    Sofort

    Was Geld oder Daten dauerhaft beschädigen kann

  2. 8

    Vor dem Go-live

    Geringer Aufwand, wenige Tage je System

  3. 5

    Vor dem Go-live

    Größerer Umfang: Auslieferung, Alarmierung, Härtung

  4. 2

    Danach

    Löschkonzept, kleinere Härtungen

Wie so ein Bericht im Ganzen aussieht, zeigt ein Muster mit einem ausgedachten Betrieb. Es ist nicht der Bericht an Delta-Sport, aber genauso aufgebaut, mit Management-Summary, allen Prüffeldern über OWASP hinaus und den Fragen an Dienstleister.

Im Abschlusstermin von anderthalb Stunden habe ich die zwei wichtigsten Befunde live vorgeführt und die Fragen zum Bericht geklärt.

Zwei Terminalfenster: links meldet die Zustandsabfrage ok, obwohl die Datenbank gestoppt ist, rechts schlägt ein Test fehl, weil zwei gleichzeitige Reservierungen auf das letzte Stück beide angenommen werden
Die zwei Live-Nachweise aus dem Abschlusstermin. Beides lässt sich in Minuten vorführen, und beides findet kein Scanner. (Quelle: Abschlusstermin, Darstellung vereinfacht)

Für die Technik im Haus noch die Verteilung der Befunde nach den Kapiteln des Standards:

Nach OWASP-Kapiteln

Die 14 Kapitel des OWASP ASVS, des internationalen Standards für Anwendungssicherheit

  1. V1Architektur und Bedrohungsmodellmehrere
  2. V2Anmeldungkein Befund
  3. V3Sitzungenvereinzelt
  4. V4Zugriffskontrollemehrere
  5. V5Prüfung und Bereinigung von Eingabenmehrere
  6. V6Gespeicherte Daten verschlüsselnvereinzelt
  7. V7Fehlerbehandlung und Protokollierungmehrere
  8. V8Datenschutzmehrere
  9. V9Kommunikationvereinzelt
  10. V10Schadcode und Abhängigkeitenmehrere
  11. V11GeschäftslogikSchwerpunkt
  12. V12Dateien und Ressourcenvereinzelt
  13. V13APIs und Webservicesmehrere
  14. V14KonfigurationSchwerpunkt
Die Schwerpunkte lagen bei Geschäftslogik und Konfiguration. Bei der Anmeldung, wo solche Prüfungen sonst die schwersten Mängel finden, gab es keinen Befund.

Was mit dem Code nichts zu tun hatte

Das Wichtigste stand in keinem Befund. Es kam im Termin auf und wurde danach ein eigenes Papier: Themen, die man im Quellcode nicht sieht, sondern erst im Betrieb.

Im Quellcode

Was geschrieben steht, kann eine KI prüfen.

Erst im Betrieb

Mailweg
Was passiert, wenn eine Adresse nicht existiert?
Backup
Hat schon einmal jemand zurückgespielt?
Alarmierung
Wer merkt einen Ausfall, bevor jemand anruft?
Auslieferung
Wie kommt eine Version in die Produktion und zurück?

Der Mailweg zum Beispiel. Die Service-App holt Kundenantworten automatisch ab. Existiert eine Adresse nicht, schickt der Mailserver der Gegenseite eine Unzustellbarkeitsmeldung mit der Ticketnummer im Text. Die Anwendung hält sie für eine Kundenantwort und hängt sie an den Vorgang. Der Fall sieht bearbeitet aus. Er ist es nicht, und niemand erfährt es.

Oder das Backup. Es gab eins. Die Frage ist, ob schon einmal jemand zurückgespielt hat. Ein Vollrücksprung löscht alles, was seither erfasst wurde. Der übliche Weg ist ein zweites Datenbank-Exemplar, aus dem man gezielt holt, was fehlt. Das muss jemand dürfen und einmal geübt haben.

Nichts davon ist eine Sicherheitslücke, nichts davon findet ein Scanner, und nichts davon bekommt man aus Claude oder ChatGPT heraus, wenn man nicht weiß, dass man danach fragen muss. Das Werkzeug beantwortet Fragen. Wer so etwas schon betrieben hat, stellt die, die fehlen.

Was ich daraus mitnehme

Erstens: Mit KI gebaute Software ist nicht das Problem. Die beiden Systeme waren in ihren Grundlagen besser als vieles aus zehn Jahren Agenturarbeit. Die Frage ist, wer den Teil übernimmt, den die KI nicht kennt: Nebenläufigkeit, Betrieb, Umgebung, Alarmierung.

Zweitens: Der Blick von außen muss nicht groß sein. Vier bis fünf Werktage für zwei Systeme, vor dem Go-live. Das ist weniger als ein einziger Vorfall danach.

Drittens: Je besser ein Team dokumentiert, desto mehr findet eine Durchsicht. Entscheidungen mit Datum und Messwert kann man prüfen. Bauchgefühl nicht.

Wenn bei euch jemand mit KI baut: Lasst es vor dem Go-live jemanden anschauen, der schon einmal etwas betrieben hat. Nicht, weil es schlecht ist. Sondern weil die Fragen, die fehlen, nur von dort kommen.

Zurück zum Blog
Share:

Weitere Beiträge