Crawl budget er det antal URL'er, en søgemaskine-crawler som Googlebot henter og behandler på dit site inden for et givet tidsvindue. Google beskriver det som produktet af crawl capacity (hvor meget din server kan håndtere uden at blive langsom) og crawl demand (hvor ofte Google vurderer, at dine URL'er er værd at hente igen).
Hvorfor det er vigtigt
For små sites med få tusinde URL'er er crawl budget sjældent et problem — Google kan nemt følge med. For store e-commerce-, nyheds- eller programmatisk genererede sites bliver det kritisk: hvis Googlebot bruger sit budget på faceted navigation-støj, interne søgeresultater eller duplikerede parametre, bliver dine vigtige sider crawlet sjældnere, og nyt indhold er længere om at blive indekseret. Langsomme servere forværrer problemet, fordi Google drosler crawl rate, når svartiderne stiger. Spildt budget forsinker direkte, hvor hurtigt produktændringer, priser og nye artikler dukker op i søgeresultater.
Sådan tjekker du det
- Træk serverlogfiler (eller Search Consoles Crawl Stats-rapport) og segmentér Googlebot-forespørgsler efter URL-mønster for at se, hvor budgettet bruges.
- Blokér lavværdi-URL-mønstre — paginering ud over en dybde, sorteringsordrer, intern søgning — via robots.txt.
- Anvend noindex på tynde sider, du skal beholde tilgængelige, men blokér dem aldrig i robots.txt samtidig.
- Konsolidér duplikater med et canonical tag, så signaler samles i stedet for at fragmentere.
- Eliminér redirect-kæder; hvert redirect-hop koster et ekstra fetch.
- Indsend et rent sitemap.xml med kun kanoniske, indekserbare URL'er.
- Forbedre TTFB og serversvartid, så hvert fetch koster Googlebot mindre.
