Håll en sida borta från Google: robots.txt eller noindex?

Vill du inte ha en sida i Google, till exempel en tacksida, en testsida eller en gammal kampanj? Då tänker många på filen robots.txt. Men robots.txt håller inte en sida borta från Google. Det gör noindex. I den här artikeln läser du skillnaden, hur du använder båda och vad du gör med en sida som du har tagit bort. Vi använder example.com som exempel.

Skillnaden i korthet

Ingetdera är ett skydd. Vem som helst kan läsa din robots.txt, och en sida med noindex förblir helt enkelt tillgänglig. Måste något verkligen vara skyddat, lägg det då bakom ett lösenord. Se Skydda en mapp med lösenord i DirectAdmin.

Använda noindex

Lägg till den här raden i <head> på sidan:

<meta name="robots" content="noindex">

För filer utan HTML, till exempel en pdf, kan servern skicka med samma instruktion som header: X-Robots-Tag: noindex. Effekten är densamma.

Oftast behöver du inte skriva det här själv:

• AI Builder: öppna delen SEO, välj sidan och stäng av reglaget Den här sidan sökbar i Google under Mer för den här sidan. Sidan förblir tillgänglig, men får en noindex. Publicera därefter på nytt.
• WordPress: ett SEO-tillägg har per sida en inställning för att inte låta sidan indexeras. Kryssrutan Avråd sökmotorer från att indexera denna webbplats under Inställningar, Läsning gäller för hela webbplatsen.
• Andra webbplatsbyggare: leta efter en inställning som "dölj för sökmotorer".

Skapa eller ändra robots.txt

På ett hostingpaket finns robots.txt i webbmappen för din domän, i DirectAdmin mappen public_html. Du skapar eller redigerar filen via Filhanteraren eller FTP, se Öppna Filhanteraren: mapparna i ditt paket. Ett exempel:

User-agent: *
Disallow: /zoeken
Disallow: /winkelmand/

Sitemap: https://example.com/sitemap.xml

• User-agent: * gäller för alla sökrobotar. Disallow: med en sökväg förbjuder allt som börjar med den sökvägen. Disallow: / förbjuder hela webbplatsen.
• Skapar du också en grupp User-agent: Googlebot, följer Google bara den gruppen och ignorerar gruppen *. Upprepa där alltså alla rader som också gäller för Google.
• Blockera inte mappar med stilmallar, skript eller bilder som din sida behöver.
• Ingen robots.txt är inget problem: då är allt tillåtet. Ger adressen ett serverfel stoppar Google tillfälligt hämtningen.

WordPress skapar själv en robots.txt så länge det inte finns någon fil i webbmappen. AI Builder lägger själv till en robots.txt med en Sitemap:-rad vid publicering.

Google sparar din robots.txt oftast upp till 24 timmar. I Search Console hittar du under Inställningar rapporten robots.txt-rapport: vilken version Google senast hämtade, med fel och varningar, och en knapp för att låta Google hämta den igen.

En borttagen sida: 404 eller 410, inte soft 404

Har du tagit bort en sida bör adressen ge statuskoden 404 (hittades inte) eller 410 (borttagen). Vid nästa besök tar Google då bort adressen från sökresultaten. Har sidan en efterföljare, skicka då vidare den gamla adressen med en 301 till den nya sidan, se Site Omleiden: vidarebefordra en domän eller sida.

En soft 404 är en sida som säger att den inte finns, eller nästan är tom, men ändå ger koden 200 (hittades). Google känner ofta igen det och tar inte med en sådan sida. I Search Console ser du det som orsak Soft 404. Att skicka vidare alla borttagna sidor till din startsida kan också räknas som soft 404. Låt därför en sida som verkligen är borta ge en riktig 404 eller 410.

Måste en sida bort från resultaten snabbt, till exempel för att personuppgifter av misstag fanns där? Använd då Borttagningar i Search Console. Det fungerar tillfälligt, ungefär sex månader. Se därför också till att sidan har en 404, 410, lösenord eller noindex.

Läs mer

• Google: Blockera indexering med noindex (engelska)
• Google: Introduktion till robots.txt (engelska)
• Google: robots.txt-rapport
• Blockera filer via .htaccess

Använder du WordPress? I lektionen Sökbarhet: grunderna i den kostnadsfria WordPress-kursen läser du mer om robots.txt och kryssrutan Avråd sökmotorer.