Test dine robots.txt regler med ét input. Indsæt et domæne eller en fuld URL og se straks om siden kan crawles.
En robots.txt fil fortæller søgemaskiner hvilke sider eller filer de må eller ikke må anmode om fra dit site. Den bruges primært til at undgå at overbelaste dit site med anmodninger.
Mange AI-crawlere respekterer robots.txt-direktiver. Hold dine regler tydelige og undgå ikke-standard mønstre, så både søgemaskiner og LLM-crawlere forstår din politik korrekt.