Gratis SEO-værktøj
Robots.txt Generator
Opret regler for User-agent, Allow, Disallow og sitemap. Kopiér eller download filen. Med advarsler mod regler, der kan blokere vigtige dele af dit site.
Kører 100 % i din browser – intet login, ingen betaling, og dine indtastninger sendes ikke nogen steder hen.
Din robots.txt
Sådan bruger du din robots.txt
Robots.txt er en tekstfil i roden af dit domæne (fx https://eksempel.dk/robots.txt), som fortæller crawlere, hvilke dele af sitet de må besøge. Upload den genererede fil til roden af dit website.
Pas på med Disallow
En forkert regel kan blokere vigtige sider for søgemaskiner. Disallow: / blokerer hele sitet for den pågældende crawler. Bloker heller ikke CSS- og JavaScript-filer, da søgemaskiner skal bruge dem til at rendere dine sider.
Robots.txt er ikke en noindex
En blokeret side kan stadig blive indekseret, hvis andre linker til den. Vil du holde en side ude af søgeresultaterne, skal du bruge et noindex-tag – og siden må ikke være blokeret i robots.txt, ellers kan crawleren ikke se tagget.
AI-crawlere
Du kan lave særskilte regler for fx OAI-SearchBot (ChatGPT-søgning), GPTBot (OpenAI-træning) og Google-Extended. Overvej nøje, hvad du blokerer: blokering af søge-crawlere kan betyde, at dit indhold ikke vises i AI-søgninger.
Om forfatteren
Nicolaj Vinter
Freelance digital marketing-specialist · 15 års erfaring
Jeg har bygget værktøjerne på denne side, så du gratis kan tjekke dit eget site uden login eller betaling. Til dagligt arbejder jeg med SEO, GEO/AEO, CRO, dashboards og tracking gennem min freelanceforretning KaktusKaktus, og jeg har tidligere haft titler som Head of SEO, Head of Owned Media og CPO.
Læs mere om migLinkedIn