Die Studie „Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations“ untersucht, wie ChatGPT Anfragen umschreibt, Kandidatenseiten abruft und Referenzen auswählt. Selbst kombiniert erfassen Google Search und die OpenAI Responses API laut der Studie nur etwa ein Viertel der zitierten URLs. Innerhalb des externen Kandidatensatzes erreicht ein überwachtes Modell, das die Signale kombiniert, laut der Studie AUC-Werte über 0,74 für GPT-5.3 und GPT-5.5 auf allen drei Ebenen. Darüber berichtet Arxiv.

Hintergrund

Die Studie ordnet sich in die Forschung zur generative engine optimization (GEO) ein, die darauf abzielt, die Sichtbarkeit von Inhalten in Antworten generativer Engines zu verbessern. Frühere Arbeiten analysieren laut der Studie überwiegend die finalen Antworten und lassen den internen Ausführungsprozess sowie dessen Variation über Modelleinstellungen hinweg weniger verstanden. Ein Preprint beschreibt denselben Mechanismus: Generative Engines wie ChatGPT Web rufen Webseiten ab, um Nutzeranfragen zu beantworten, zeigen aber nur einen Teil davon als Zitate.

Die Studie beobachtete vier ChatGPT-Web-Konfigurationen von ChatGPT 5.2 bis 5.5 in den Modi Instant und Thinking auf URL-, Hostname- und Entitätsebene. Kandidaten der Responses API bieten laut der Studie eine breitere Abdeckung, während ihre Zitate besser mit den von ChatGPT Web zitierten Quellen übereinstimmen.

Abrufverhalten

Die Instant-Einstellungen blieben überwiegend einrundig, während GPT-5.4 Thinking häufig mehrere Abrufrunden durchführte. Über wiederholte Durchläufe hinweg wurden häufiger abgerufene Kandidaten auch mit höherer Wahrscheinlichkeit zitiert. Bei wiederholten Durchläufen gilt laut der Studie: Kandidaten, die häufiger abgerufen werden, werden auch mit höherer Wahrscheinlichkeit zitiert.

Die Studie kommt zu dem Schluss, dass GEO zwischen Abruf-Sichtbarkeit und Zitat-Sichtbarkeit unterscheiden sollte. Die Studie empfiehlt, umgeschriebene Anfragen und Variationen zwischen Durchläufen zu berücksichtigen sowie Hostname- und Entitätsebene zusätzlich zu exakten URLs zu betrachten. Unterschiede zwischen den Einstellungen legen laut der Studie nahe, dass GEO-Strategien neu bewertet werden sollten, wenn sich die eingesetzte Einstellung oder die Serving-Umgebung ändert.

Die Studie quantifiziert die Abdeckungslücke zwischen externen Stellvertretern und ChatGPT Web, benennt aber keine konkreten Maßnahmen, mit denen sich die Lücke schließen lässt. Die Studie liefert keine Angaben dazu, wie sich die Ergebnisse auf andere generative Engines oder auf zukünftige Modellversionen übertragen lassen.