Der Vergleich von 15 neuronalen Netzwerkarchitekturen zeigt einen deutlich größeren Effekt durch präzisere manuelle Labels als durch Hyperparameter-Optimierung: Laut Nature wurden die Architekturen sowohl anhand der Katasterlabels als auch anhand eines unabhängigen, manuell annotierten Testsatzes bewertet. Die Hyperparameter-Optimierung ergab demgegenüber eine zusätzliche Verbesserung von nur 0,008 ± 0,010, so Nature. Das ist, mit Verlaub, ein Rundungsfehler mit Publikationsneigung – während die Labels den Ausschlag geben.
Die Bewertung anhand zweier Referenzen ist der Kern des Aufbaus: Die Katasterlabels stammen aus dem amtlichen Grundstücks- und Gebäuderegister, der unabhängige Testsatz wurde manuell annotiert. Wer die Rangliste der Architekturen als Eigenschaft der Modelle liest, verwechselt die Messlatte mit dem Sportler.
Ein Datensatz aus der Praxis
Für die Untersuchung wurde laut Nature ein neuer Datensatz mit 14.378 Proben erstellt – 11.878 positive und 2.500 negative –, der auf WMS-Diensten und Vektordaten aus dem Grundstücks- und Gebäuderegister (EGiB) beruht. Die Proben stammen aus ganz Polen. Die Arbeit widmet sich laut bies.lbl.gov offenen Daten und der tiefen semantischen Segmentierung, um Gebäudegrundrisse automatisiert zu extrahieren.
Wenn die Bestenliste wechselt
Verglichen wurden auf diesem Datensatz 15 neuronale Netzwerkarchitekturen, wie Nature berichtet: von klassischen konvolutionalen Netzwerken über Transformer-Modelle bis zur Instanzsegmentierung aus der YOLO-Seg-Familie. Unter den untersuchten Bedingungen verbesserte die Label-Verfeinerung die Leistung deutlich stärker als die Hyperparameter-Optimierung, und die zur Bewertung verwendeten Referenzlabels veränderten die Rangfolge der Architekturen. Wer die Rangliste liest, als wäre sie eine Eigenschaft der Modelle, liest die Rangliste der Labels.
Was der Benchmark nicht beantwortet
Die Studie verfolgt laut bies.lbl.gov das Ziel, offen verfügbare Daten zu nutzen, um automatisch einen größeren Trainingsdatensatz mit mehr Variabilität bei Regionen und Stadttypen zu erzeugen, der genauere Deep-Learning-Modelle ermöglichen soll. Dieser Trainingsdatensatz ist der Quelle zufolge jedoch nicht vollkommen sauber: Die Fernerkundungsbilder stimmen nicht exakt mit dem Ground-Truth-Gebäudegrundriss überein.
Die offene Frage bleibt, wie gut die Genauigkeit dieser Ansätze ist, wenn weniger kuratierte Trainingsdaten verwendet werden. Der automatisch erzeugte, größere Datensatz bringt mehr Variabilität, aber eben auch die beschriebene Unschärfe mit sich.