Sitemap och robots.txt i WordPress och på din egen webbplats

En sitemap är en lista över de adresser som du vill ha med i sökmotorerna. En robots.txt talar om för sökmotorerna vilka adresser de inte får besöka och var din sitemap finns. Så här kontrollerar du dem i WordPress och på en webbplats som du bygger själv.

WordPress

Sedan version 5.5 skapar WordPress själv en sitemap och en robots.txt:

• Sitemapen finns på https://jouwdomein.nl/wp-sitemap.xml.
• Robots.txt är virtuell: det finns ingen fil i din webbmapp, men WordPress visar den på https://jouwdomein.nl/robots.txt, med en hänvisning till sitemapen.
• Använder du ett SEO-tillägg, som Yoast SEO eller Rank Math? Då skapar det ofta en egen sitemap, till exempel sitemap_index.xml. Adressen hittar du i tilläggets inställningar. Det är den adressen du skickar in till Google och Bing.

En standard-robots.txt från WordPress ser ungefär ut så här:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Stoppar WordPress sökmotorerna?

1. Logga in i WordPress och gå till Inställningar och sedan Läsa.
2. Titta vid synlighet för sökmotorer efter kryssrutan Be sökmotorer att inte indexera denna webbplats.
3. Kryssrutan ska vara avmarkerad. Klicka på Spara ändringar.

Är kryssrutan markerad ber WordPress sökmotorerna att hoppa över hela din webbplats. Den markeras ofta medan webbplatsen byggs och glöms sedan bort.

Mer om synlighet i WordPress läser du i Synlighet: grunderna.

En egen robots.txt

Lägger du själv en fil robots.txt i din webbmapp går den före WordPress virtuella robots.txt. Med ett webbhotellspaket från WebOké är webbmappen public_html för din domän. Du lägger filen där med Filhanteraren i DirectAdmin (se Öppna Filhanteraren: mapparna i ditt paket) eller med FTP.

En enkel robots.txt som tillåter allt och pekar på din sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

En webbplats som du bygger själv

Bygger du webbplatsen själv, eller med ett annat program? Kontrollera då om programmet skapar en sitemap. Om inte klarar du dig utan: en liten webbplats med bra länkar mellan sidorna hittas också. En sitemap hjälper dock. Lägg den i din webbmapp och ange den i din robots.txt, som ovan.

Kontrollera

• Öppna https://jouwdomein.nl/robots.txt. Står det Disallow: / under User-agent: *? Då får ingen sökmotor besöka din webbplats. Ta bort raden när webbplatsen är klar.
• Finns det en rad Sitemap:? Öppna den adressen i din webbläsare. Du ska se en lista med adresser från din webbplats, med https och din egen domän.

Tips: robots.txt håller inte en sida borta från Google. En sida som inte får besökas kan ändå hamna i sökresultaten om andra webbplatser länkar till den. Vill du verkligen hålla en sida borta från Google använder du noindex. Skillnaden läser du om i lektionen robots.txt: vad du blockerar och inte blockerar i kursen Synas online.