Rechtsgutachten hält KI-Einsatz im britischen Asylverfahren für wahrscheinlich rechtswidrig

Das Gutachten kommt zu dem Ergebnis, dass die Nutzung von KI-Werkzeugen durch das Home Office mehrere rechtliche Verpflichtungen sowie die im AI Playbook for the UK Government festgelegten Standards nicht erfüllt. Es hebt hervor, dass das Home Office die im AI Playbook for the UK Government festgelegten Grundsätze und Verfahrenssicherungen nicht befolgt hat, insbesondere hinsichtlich Transparenz und der Pflicht zu Offenheit und Zusammenarbeit beim Einsatz von KI. Die Werkzeuge erfüllen möglicherweise nicht die Public Sector Equality Duty, die öffentliche Stellen verpflichtet zu prüfen, wie sich ihre Maßnahmen auf nach dem Equality Act geschützte Personen auswirken. Das Home Office hat für keines der beiden Werkzeuge eine Gleichstellungsfolgenabschätzung veröffentlicht, sodass nicht feststellbar ist, ob die Public Sector Equality Duty erfüllt wurde und keine weiterreichenden Gleichstellungsprobleme bestehen. Darüber berichten Computerweekly, ai.gov.uk und gov.uk.

Das Home Office entwickelte das System Asylum Case Summarisation (ACS) intern, um Entscheider in Asylverfahren durch KI-gestützte Zusammenfassungen von Gesprächstranskripten zu unterstützen. Das Werkzeug Asylum Case Summarisation (ACS) nutzt künstliche Intelligenz, um Transkripte von Asylinterviews zusammenzufassen. Das Asylum Case Summarisation System nutzt OpenAI's GPT-4, um lange Asyl-Interviewtranskripte automatisch in kurze Zusammenfassungsdokumente umzuwandeln. Das ACS-Werkzeug basiert auf GPT-4o und erstellt automatische Zusammenfassungen von Interviews mit Asylsuchenden, die bis zu 50 Seiten lang sein können, bevor sie von Entscheidern geprüft werden. Ein weiteres KI-Werkzeug, die Asylum Policy Search (APS), wurde ab Juli 2025 für alle Asyl-Entscheider ausgerollt; es hat eine chat-artige Oberfläche zur Suche nach Länderpolitikinformationen und soll die Suche nach relevanten Informationen für ein Urteil beschleunigen.

Das Home Office führte im April 2026 das Tool „Asylum Case Summarisation“ (ACS) ein, um Entscheidungen zu beschleunigen und Rückstände bei Asylanträgen abzubauen. Zwischen Mai und Dezember 2024 wurden kleinere Pilotprojekte durchgeführt, um Machbarkeit, Genauigkeit und Auswirkungen der Werkzeuge zu untersuchen. Das ACS-Werkzeug wurde trotz bekannter Fehler an alle Asyl-Sachbearbeiter ausgerollt; die Evaluation des Pilotprojekts durch das Innenministerium ergab, dass 9 Prozent der erzeugten Zusammenfassungen ungenau waren, Informationen fehlten und aus dem Pilotprojekt entfernt werden mussten. Die eigene Evaluierung des Home Office zum ACS ergab, dass 9 % der KI-generierten Zusammenfassungen so fehlerhaft waren, dass sie aus dem Pilotprojekt entfernt werden mussten.

Stichprobentests von Fachleuten des Innenministeriums haben ergeben, dass eine erhebliche Zahl KI-zusammengefasster Interviews die Qualitätsprüfungen nicht bestand. Fachexperten des Home Office haben seit der Einführung des Systems Stichproben von 203 Zusammenfassungen durchgeführt, um deren Genauigkeit zu prüfen. Von geschätzt 70.000 zwischen April und Juli verarbeiteten Fällen wurden nur 203 von Fachexperten geprüft, was 0,3 % der KI-generierten Zusammenfassungen entspricht. Laut der Datenschutz-Folgenabschätzung (DPIA) des ACS werden monatlich durchschnittlich 17.515 Asylfälle bearbeitet. Laut Innenministerium spart das ACS-System Fallbearbeitern 23 Minuten pro Fall.

Sara Alsherif, Programmmanagerin für migrantische digitale Gerechtigkeit bei der Open Rights Group, sagte, die Risiken des KI-Einsatzes bei Asylanträgen seien hoch und der Prozess müsse transparenter werden. Sara Alsherif kritisierte, dass Asylbewerber nicht einmal darüber informiert würden, dass undurchsichtige KI-Werkzeuge bei der Bewertung ihres Falls eingesetzt würden, und ihnen auch nicht die Möglichkeit gegeben werde, mögliche Fehler zu korrigieren. Sara Alsherif forderte ein sofortiges Verbot der Nutzung dieser KI-Werkzeuge und erklärte, es gebe viele Wege, den Rückstand des Home Office bei Asylverfahren abzubauen und die Qualität der Entscheidungen zu verbessern – diese Werkzeuge seien nicht die Antwort. Robin Allen KC und Dee Masters erklärten, Technologie könne die Entscheidungsfindung unterstützen, dürfe aber nicht das sorgfältige menschliche Urteilsvermögen untergraben, das in Asylfällen erforderlich sei; wo KI-Werkzeuge ohne angemessene Sicherungen eingesetzt würden, bestehe ein reales Risiko rechtswidriger oder unfairer Entscheidungen.

Ein Sprecher des Home Office erklärte, alle Asylentscheidungen würden von geschulten Entscheidern und nicht von künstlicher Intelligenz getroffen; die KI-Tools unterstützten Fallbearbeiter lediglich und könnten nicht isoliert verwendet werden. Der Sprecher des Innenministeriums erklärte, die Leistung der Werkzeuge werde regelmäßig zusammen mit den etablierten Qualitätssicherungsprozessen überwacht und alle Asylanträge würden weiterhin von geschulten Entscheidern nach ihren individuellen Umständen geprüft. Das Innenministerium hat den Abgeordneten mitgeteilt, dass es keine Pläne für ein unabhängiges Audit des ACS gibt. Minister haben bestätigt, dass KI-Zusammenfassungen von Fällen bei den monatlichen Qualitätssicherungsprüfungen nicht berücksichtigt werden. Die Ergebnisse der Stichprobentests wurden in einer Arbeitsgruppe „hauptsächlich mündlich“ erörtert; ein Zwischenbericht wurde einem internen Gremium vorgelegt, aber noch nicht veröffentlicht.

Das Gutachten stellt fest, dass angesichts der offensichtlichen Ungenauigkeiten in den vom APS und ACS erzeugten Zusammenfassungen ein erhebliches Risiko besteht, dass Entscheidungen, die auf diesen Zusammenfassungen beruhen, auf materiellen Tatsachenfehlern basieren und dadurch beeinträchtigt werden. Es könnte zudem ein Verstoß gegen Datenschutzrecht vorliegen, wenn das ACS-Werkzeug ungenaue Zusammenfassungen personenbezogener Daten der Antragsteller erzeugt und diese keine Gelegenheit haben, sie zu korrigieren. Laut der Open Rights Group deutet dies darauf hin, dass technische Spezialisten nicht mehr die gesamte Akte prüfen, bevor ein Entscheider sie untersucht, wodurch eine Ebene fachkundiger Prüfung entfällt. Die Open Rights Group erklärte, es sei schwer, die Zeitersparnis mit den Angaben der Minister in Einklang zu bringen, dass Entscheider auch jedes Dokument lesen müssten.