Tillåt eller blockera AI-crawlers: robots.txt och llms.txt
AI-tjänster som ChatGPT, Claude, Gemini och Perplexity hämtar webbsidor: för att träna modeller, för att ge sökresultat eller för att besvara en fråga från en användare. Med robots.txt anger du vilka av dessa robotar som får besöka din webbplats. Dessutom finns förslaget llms.txt. I den här artikeln får du veta vilka robotar som finns, hur du tillåter eller blockerar dem och vad llms.txt gör och inte gör. Vi använder example.com som exempel.
1. De viktigaste AI-robotarna
De flesta AI-företag använder separata namn för träning, sökning och hämtning på begäran av en användare. Då kan du till exempel blockera träning och ändå synas i sökresultaten.
| Namn i robots.txt | Från | Används till |
|---|---|---|
GPTBot | OpenAI | Samla in sidor som kan användas för att träna modeller |
OAI-SearchBot | OpenAI | Sökfunktionen i ChatGPT. Blockerar du den, visas din webbplats inte i ChatGPT:s sökresultat |
ChatGPT-User | OpenAI | Hämta en sida när en användare ber om det. Enligt OpenAI gäller robots.txt kanske inte här |
ClaudeBot | Anthropic | Samla in sidor som kan användas för att träna modeller |
Claude-SearchBot | Anthropic | Indexera sidor för sökfunktionen i Claude |
Claude-User | Anthropic | Hämta en sida när en användare ber om det |
Google-Extended | Ingen egen robot, utan ett namn som du använder för att ange om Google får använda ditt innehåll för att träna Gemini-modeller och för grounding. Enligt Google påverkar det inte din placering i Google Sök | |
PerplexityBot | Perplexity | Visa och länka till webbplatser i Perplexitys sökresultat, inte för träning |
Perplexity-User | Perplexity | Hämta en sida när en användare ber om det. Enligt Perplexity ignorerar den oftast robots.txt |
Listan ändras regelbundet. De aktuella namnen hittar du i dokumentationen från OpenAI, Anthropic, Google och Perplexity.
2. Ett exempel på robots.txt
Det här exemplet blockerar träning av modeller, men tillåter sökrobotar och vanliga sökmotorer:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /varukorg/ Sitemap: https://example.com/sitemap.xml
- En robot följer bara gruppen med sitt eget namn, och annars gruppen
*. I exemplet får GPTBot alltså inte besöka något alls, ochDisallow: /varukorg/gäller inte för GPTBot. - Vill du tillåta alla AI-robotar behöver du inte göra något: utan regler är allt tillåtet.
- Blockerar du av misstag en sökrobot, som
OAI-SearchBot,Claude-SearchBotellerPerplexityBot, blir du svårare att hitta i de AI-söktjänsterna. - Blockering gäller bara framåt. Det som redan har hämtats tidigare får du inte tillbaka.
public_html för din domän. Du skapar eller redigerar filen via File Manager eller FTP. WordPress skapar en egen robots.txt så länge det inte finns någon fil, och AI Builder lägger själv dit en när du publicerar. Mer om hur robots.txt fungerar läser du i Hålla en sida borta från Google: robots.txt eller noindex?.3. Vad är llms.txt?
llms.txt är ett förslag från 2024 om en textfil på https://example.com/llms.txt. I den skriver du i Markdown en kort beskrivning av din webbplats och länkar till de viktigaste sidorna, så att en AI-tjänst snabbt ser var den bästa informationen finns. Ett enkelt exempel:
# Bageri Exempel > Hantverksbageri i Göteborg med bröd, bakverk och tårtor på beställning. ## Viktiga sidor - [Sortiment](https://example.com/assortiment): bröd, bakverk och tårtor - [Beställ](https://example.com/bestellen): beställ och hämta tårta - [Kontakt](https://example.com/contact): adress och öppettider
Bra att veta:
- llms.txt är ingen officiell standard, utan ett förslag. Det finns ingen garanti för att AI-tjänster läser filen. Google har meddelat att Google Sök inte använder den.
- llms.txt blockerar ingenting. Vill du hålla robotar borta, använd robots.txt.
- Filen skapas inte automatiskt: du gör den själv, eller låter ett plugin skapa den.
4. Skapa llms.txt i WordPress
De välkända SEO-pluginen kan skapa och uppdatera llms.txt åt dig:
- Yoast SEO: gå till Yoast SEO, Inställningar, Webbplatsfunktioner och aktivera llms.txt under AI-funktionerna. Du kan låta Yoast välja sidorna eller välja dem själv.
- Rank Math: aktivera modulen LLMS Txt i Rank Maths Dashboard. Inställningarna hittar du sedan under Allmänna inställningar.
Menynamnen skiljer sig mellan olika versioner. Ser du inte alternativet, uppdatera då pluginet. Därefter kan du se filen på https://dindomän.se/llms.txt.
Utan WordPress skapar du filen själv: en textfil llms.txt i mappen public_html, precis som robots.txt.
Utförlig förklaring med skärmbilder: Sitemap och robots.txt i WordPress och på din egen webbplats och Sitemap och robots.txt i AI Builder i handboken Synas på nätet.
Vill du lära dig mer? Gå den kostnadsfria kursen Synas på nätet, lektion 3.3 robots.txt: vad du ska och inte ska blockera.