robots.txt for AI-crawlere: den praktiske guiden

Hvorfor denne filen plutselig betyr noe

robots.txt har eksistert siden 1994, men inntil nylig var det bare søkemotorer som leste den. I dag er den også portvakten for AI: robotene til OpenAI, Anthropic, Google, Perplexity og Microsoft sjekker den før de leser sidene dine. Det de finner der, avgjør om AI-assistenter kan lære om bedriften din, sitere den og anbefale den.

Én tommelfingerregel før detaljene: robotene har ulike jobber. Å blokkere én gjør deg ikke «usynlig for AI» — og å tillate én gjør deg ikke synlig. Det er tre roller å forstå.

Oppsettet de fleste bedrifter vil ha

Vil du at AI-assistenter skal kjenne og anbefale bedriften din, er svaret enkelt — sørg for at ingenting blokkerer AI-robotene. En minimal robots.txt som tillater alle og peker på sitemappen din:

Hvis du bevisst ikke vil at innholdet ditt skal brukes til modelltrening, men fortsatt vil bli sitert i AI-søk, blokkerer du treningsrobotene og lar søkerobotene være i fred:

Den avveiningen er reell: trening er måten modellene lærer hvem du er på. For de fleste små bedrifter som vil vinne kunder, koster det mer å blokkere treningsrobotene enn det beskytter.

De fire feilene vi faktisk ser

Vi har målt 447 norske håndverksbedrifter med audit-metodikken vår. robots.txt-feilene faller i fire mønstre:

1. Ingen robots.txt i det hele tatt (8 % av bedriftene). Ikke fatalt — ingen fil betyr «alt tillatt» — men du mister også sitemap-pekeren og all bevisst kontroll.

2. En global Disallow: /. Vanligvis en rest fra et testmiljø. Den ber hver eneste crawler, AI inkludert, om å ikke lese noe. Vi ser det sjelden, men når vi gjør det, er bedriften usynlig i alle AI-systemer på én gang.

3. Kopierte «blokker AI-roboter»-lister. Maler som sirkulerte i 2023–24 blokkerer GPTBot «for å beskytte innholdet» — skrevet før AI-søk fantes. Resultatet i 2026: konkurrentene dine blir sitert, ikke du. 4 % av benchmarken blokkerer fortsatt GPTBot, stort sett via slike maler.

4. Brannmuren blokkerer det robots.txt tillater (1 av 11 bedrifter). Dette er den lumske. robots.txt sier «velkommen» — men WAF-en eller hostingleverandøren svarer 403 til forespørsler med AI-robotenes user-agent. 9 % av de 447 bedriftene hadde minst én AI-robot blokkert slik, og ingen av dem visste det. I en reell audit fant vi en brannmur som blokkerte OpenAIs treningscrawler, men slapp søkerobotene gjennom — uten at eieren av siden hadde tatt noe slikt valg.

Test det på to minutter

Ikke stol på konfigurasjonen — test oppførselen. Fra en hvilken som helst terminal: hent forsiden din som en AI-robot og sammenlign med en vanlig forespørsel:

Alle fire skal returnere samme kode som en vanlig nettleser — 200. En 403 på noen av dem betyr at brannmuren din lager AI-policy for deg. (Auditen vår kjører nøyaktig denne testen, blant 33 sjekker.)