llms.txt og ai.txt er fremvoksende konventioner til at publicere site-level policies rettet mod large language models og AI-crawlere. De placeres ved siden af robots.txt i roden af et domæne og erklærer crawling-regler, training- og fine-tuning-tilladelser, privatlivsvejledning og foretrukken attribution i plain text.
Hvorfor det er vigtigt
AI-crawlere henter i stigende grad indhold til training, retrieval-augmented generation og answer engines. Uden en publiceret policy har modeloperatører intet maskinlæsbart signal om, hvad der er tilladt, og du har ingen dokumenteret record, hvis du senere gør indsigelse mod brugen af dit indhold. Klare erklæringer hjælper også ærlige crawlere med at route forespørgsler effektivt, hvilket kan reducere spildt crawl budget og båndbredde på sider, du ikke ønsker indekseret af AI-systemer.
Sådan bruger du det
- Servér filerne på
https://example.com/llms.txtoghttps://example.com/ai.txtmed et200-svar ogtext/plaincontent type. - Inkludér klare felter som
Site,Contact,Training/FTU Policy,PII-PolicyogPreferred-Attributionfor at reducere tvetydighed for modeloperatører. - Hold stier konsistente med regler i robots.txt, så signaler ikke modsiger hinanden.
- Referér til din sitemap.xml, så velopdragne AI-crawlere kan finde kanoniske URL-lister.
- Kombinér med structured data på individuelle sider for rigere maskinkontekst.
- Gennemgå policyen, når dine servicevilkår eller licensbetingelser ændres.
