Erkennbarer User-Agent
SaferPageCrawler/0.3 (+https://saferpage.de/bot; schedules passive DACH website checks; report examples: https://saferpage.de/tests)
Der User-Agent enthält einen Link zur Bot-Transparenzseite und zu Beispielreports, damit Betreiber den Abruf einordnen können.
Performance-Grenzen
Automatische Läufe bleiben klein: aktuell höchstens 8 Hosts pro Lauf, maximal 2 parallele Scans und Pausen zwischen Batches. Headless Chromium wird nur für Screenshot-, Cookie-, Storage- und Consent-Nachweise eingesetzt.
DACH-Fokus
Priorisiert werden .de, .at, .ch, .li und .lu sowie deutschsprachige Behörden-, Verbraucher-, Medien- und Betreiberseiten. Plattform-, CDN-, Adtech- und technische Nebendomains werden aus der Queue gefiltert.
Opt-out
Betreiber können automatische Abrufe per robots.txt blockieren. Einzelne öffentliche Checks bleiben über die Startseite manuell auslösbar.
User-agent: SaferPageCrawler
Disallow: /