IF-Forum

» IF-Forum - Autorencafé - Schreiben! - Erfahrung mit KI-Testing
AntwortenNeues ThemaNeue Umfrage

Erfahrung mit KI-Testing

Geschrieben um 12:06 am 16.11.2026 | Zitat | Editieren | Löschen
StefanH
Avatar
Mitglied
Prof Gumby
Beiträge: 339

Hat hier schon mal jemand KI zum Testen verwendet? Wäre an einem Austausch zu dem Thema durchaus interessiert.

Ich habe solche Tests bislang vermieden aus verschiedensten Gründen. Unter anderem war mir nicht klar, wie leicht sich das in die Tat umsetzen lässt.

Ich habe jedenfalls mal ChatGPT auf Caribbean Nightmare angesetzt und in Deutsch, Englisch, Spanisch durchzocken lassen. Die Ergebnisse waren durchaus beeindruckend. Die KI hat sich dumm, aber konsequent einmal durchs Spiel gespielt. Textuelle (“In der Location-Beschreibung steht XXXX, aber das Objekt wird als YYYY angesprochen.”) und logische (“Der Brüllwürfel ist angeblich ausgeschaltet, trotzdem kommt ‘Musik’ raus.”) Inkonsistenzen wurden sehr solide aufgespürt, fehlende Syntax-Varianten angemerkt und die Hilfe benutzt (Sehr spärlich und immer erst dann, wenn das System wirklich festhing).

Was mich außerdem beeindruckt hat, ist wie flott ChatGPT mein Guthaben verbrannt hat. Ohne weitere Voreinstellungen hat das System einfach Screenshots gemacht und diese analysiert. Dann habe ich ihm Zugriff auf den DOM gegeben und ihn dort die Texte auslesen lassen. Das war seltsamerweise genauso ineffizient. Die Implementierung einer REST-Schnittstelle habe ich mir bisher gespart, das könnte aber deutlich kostensparender sein.

Das Ganze könnte also durchaus repetitive Tasks abnehmen und damit sehr effiziente Tests ermöglichen. Außerdem hat es nicht die Limitierung menschlicher Tester, hier gilt nicht der Grundsatz “Es gibt keine zweite Chance für einen ersten Eindruck.”

Hat sonst noch wer damit rumprobiert?

Geschrieben um 14:39 am 16.11.2026 | Zitat | Editieren | Löschen
StefanH
Avatar
Mitglied
Prof Gumby
Beiträge: 339

Hm, die Überschrift ist blöd gewählt. Kann das jemand auf “Erfahrung mit KI-Testing” anpassen?

Geschrieben um 19:29 am 16.11.2026 | Zitat | Editieren | Löschen
Hannes
Avatar
Mitglied
Retired Gumby
Beiträge: 706

StefanH:

Kann das jemand auf “Erfahrung mit KI-Testing” anpassen?

Ja, du (links unten).

Geschrieben um 19:54 am 16.11.2026 | Zitat | Editieren | Löschen
Hannes
Avatar
Mitglied
Retired Gumby
Beiträge: 706

Zum Thema: Ich habe tatsächlich mal ein paar verschiedene Algorithmen auf ein paar Adventures angesetzt, allerdings mit der Aufgabenstellung: “Löse das!” Dazu habe ich jeweils dekompiliert. GAC, PAW, Quill haben die meisten Modelle angenommen und auch die Siegbedingung korrekt identifiziert, aber die meisten haben sie in Endlosschleifen verfangen und sind nie zu einer Lösung gekommen. Wenige haben Lösungen geliefert. Alle Lösungen waren jedoch falsch, weil die Spiellogik wohl doch nicht ganz verstanden wurde (bspw. Einwegeverbindungen).

Dann habe ich mal ein eigenes Z-Code-Spiel reingegeben und da haben alle sofort aufgegeben: “maximum number of tokens exceeded”.

Also insofern: Ernüchternd.

AntwortenNeues ThemaNeue Umfrage
Powered by Spam Board SVN © 2007 - 2021
Impressum / Datenschutz