RFC 9309 Standard · Google & AI Overviews

Robots.txt & AI-robot Kontroll

Generer en optimalisert robots.txt som sikrer maksimal synlighet i Google og AI-søk (GEO), samtidig som du forhindrer at uønskede roboter scraper innholdet ditt til modelltrening.

1. Velg profil eller tilpass regler

Bruk en ferdig profil eller skru individuelle roboter av og på.

Sitemap & Nettside
Hjelper søkemotorer å finne alle indeksérbare sider raskere.
Søkemotorer (Trafikkdrivere)
GooglebotGoogles primære crawler. Påkrevd for organisk Google-rangering og AI Overviews.
BingbotMicrosoft Bing, Yahoo og Copilot-søk.
AI-Søkemotorer (Siteringer & Kildehenvisning)
OAI-SearchBotOpenAIs søkemotor for SearchGPT og sanntidssøk i ChatGPT. Gir direkte kildehenvisninger.
PerplexityBotPerplexity AI sin søkerobot. Henter fersk informasjon og kildehenviser bedriften.
AI-Treningsscrapere (Modelltrening)
GPTBot (OpenAI Trening)Scraper innhold til fremtidig modelltrening. Påvirker ikke kildehenvisninger i ChatGPT hvis OAI-SearchBot er tillatt.
Google-ExtendedBrukes av Google til Gemini-modelltrening. Blokkering påvirker IKKE din vanlige Google-rangering.
ClaudeBot (Anthropic)Scraper innhold for Anthropic og Claude-modellene.
CCBot (Common Crawl)Åpen nett-crawler som brukes av mange uavhengige AI-selskaper til datasett.
Bytespider (ByteDance/TikTok)Svært aggressiv crawler fra ByteDance. Anbefales ofte blokkert for å spare serverressurser.
Blokkér sensitive stier og admin-mapper

2. Generert robots.txt

RFC 9309 Kompatibel
ℹ️

Plassering: Lagre denne filen som robots.txt i rotmappen på serveren din (f.eks. https://dittdomene.no/robots.txt).

Viktige fakta om robots.txt og AI-søk

Forskjell på søk og trening

Blokkerer du GPTBot, hindrer du OpenAI i å bruke innholdet ditt til å trene fremtidige modeller. Men for å vises som kilde i ChatGPT når brukere søker, må OAI-SearchBot være tillatt.

Googlebot vs Google-Extended

Googlebot indekserer sider i Google Search og Google AI Overviews. Google-Extended brukes kun til å trene Gemini. Du kan trygt blokkere Google-Extended uten å miste en eneste plassering i Google Søk.

Crawl Budget og serverbelastning

Roboter som Bytespider og CCBot kan sende tusenvis av forespørsler i timen. Ved å blokkere unødvendige scrapere sparer du servertid og reduserer responstiden for ekte kunder.

Search Console & Teknisk Crawl Audit

Opplever du at viktige sider ikke indekseres av Google?

Feil i robots.txt, kanoniske tagger eller serverforsinkelser kan føre til at Googlebot hopper over kritiske landingssider. Vi gjør en manuell sjekk av din Google Search Console API for å finne tekniske flaskehalser – 0 kr i oppstartsgebyr og 0 kr risiko.

Sjekk ditt domene (0 kr)0 kr forskudd · Resultatbasert modell