Gollnick Data Solutions LogoGollnick Data
Zurück zur Übersicht

Land oder Wasser? Wie gut ist ein Modell wirklich?

Ein Modell bekommt nur Koordinaten eines 5°-Rasters und antwortet „Land“ oder „Wasser“, ohne Hilfsmittel. Wähle ein Modell, schau dir an, wo es danebenliegt, und vergleiche es mit der Strategie „immer Wasser“.

Kartenansicht
Modell sagt „Land“, stimmtModell sagt „Wasser“, stimmt (kleiner Punkt)Falsche AntwortKeine auswertbare Antwort (Ring)Raster 5°, 2088 Punkte

Genauigkeit über die Jahre

Die gestrichelte Linie markiert die Basislinie: Wer immer „Wasser“ antwortet, liegt bei etwa 70,7 %.

Basislinie: immer „Wasser“70,7

Erst tippen, dann auflösen

Wie viel Prozent der Punkte beantwortet Claude Fable 5.2 richtig? Schätze, bevor du das Ergebnis siehst.

Alle Fehler von Claude Fable 5.2 als Tabelle (22)

Was lernen wir daraus?

Genauigkeit allein täuscht

Wer immer „Wasser“ sagt, hat ohne jedes Wissen rund 71 % richtig. Erst der Abstand zur Basislinie und die Trefferquote je Klasse zeigen, ob ein Modell überhaupt etwas weiß.

Claude Fable 5.2: 98,9 % Genauigkeit, Basislinie 70,7 % (Abstand +28,3 Prozentpunkte).

Unausgewogene Klassen

Ein Modell, das fast nur „Wasser“ sagt, hat eine hohe Genauigkeit, erkennt aber kaum Land. Deshalb lohnt der Blick auf „Land erkannt“ und „Wasser erkannt“ getrennt.

Claude Fable 5.2: Land erkannt 98,9 %, Wasser erkannt 99,0 %.

Neuer oder größer heißt nicht automatisch besser

Kleine lokale Modelle liegen teils nahe an oder sogar unter der Basislinie, während die großen aktuellen Modelle fast alles richtig haben. Jahr, Größe und Qualität hängen nur lose zusammen.

Claude Fable 5.2: 2026, Abo, 98,9 % Genauigkeit.

Qualität hat ihren Preis

Die Zeit pro Punkt reicht von rund 35 ms bei einem kleinen lokalen Modell bis über 900 ms bei den genauesten Antworten. Wer Qualität will, zahlt mit Zeit und meist auch mit Geld.

Claude Fable 5.2: 634 ms pro Punkt.

So baut man einen sauberen Test

Eine unabhängige Referenz (hier eine Land-Wasser-Maske), Temperatur 0, eine feste Stichprobe für alle Modelle und unauswertbare Antworten mitzählen: So bleiben Ergebnisse vergleichbar und nachvollziehbar.

Claude Fable 5.2: 22 Fehler, 0 Punkte ohne auswertbare Antwort.

Methodik und Grenzen

Raster 5° (2088 Punkte, 80° N bis 60° S), Referenz: global-land-mask. Antworten in Batches von 24 Punkten, Temperatur 0, ein einziger Prompt ohne Hilfsmittel. Das Ergebnis ist eine Momentaufnahme mit einem kleinen Raster: Küsten, Inseln und Seen fallen kaum ins Gewicht. Die Zeiten hängen von Hardware bzw. Anbieter ab.

Verwendeter Systemprompt

You are a geography expert. For each numbered coordinate (latitude, longitude in decimal degrees) say whether the point lies on LAND or in WATER (ocean, sea, large lake). Answer ONLY with a JSON array of strings, each "L" (land) or "W" (water), in the same order, with exactly as many entries as coordinates. No explanation.