Hålla en sida borta från Google: robots.txt eller noindex?
Vill du hålla en sida borta från Google, till exempel en tacksida, en testsida eller en gammal kampanj? Då tänker många på filen robots.txt. Men robots.txt håller inte en sida borta från Google. Till det används noindex. I den här artikeln får du veta skillnaden, hur du använder båda och vad du gör med en sida som du har tagit bort. Vi använder example.com som exempel.
Skillnaden i korthet
| robots.txt | noindex | |
|---|---|---|
| Vad det säger | "Hämta inte den här sidan." | "Ta inte med den här sidan i sökresultaten." |
| Håller det en sida borta från Google? | Nej. Om andra länkar till sidan kan adressen ändå visas, utan beskrivning. | Ja, så snart Google har besökt sidan igen. |
| Var finns det? | En fil på https://example.com/robots.txt | I själva sidan, eller som en header som servern skickar med |
| Vad använder du det till? | Att styra crawlningen, till exempel hoppa över sökresultatsidor på din egen webbplats | Sidor som ska vara tillgängliga, men inte höra hemma i Google |
Inget av dem är ett skydd. Vem som helst kan läsa din robots.txt, och en sida med noindex är fortfarande tillgänglig. Om något verkligen måste skyddas, lägg det bakom ett lösenord. Se Skydda en mapp med lösenord i DirectAdmin.
Använda noindex
Lägg den här raden i sidans <head>:
<meta name="robots" content="noindex">
För filer utan HTML, till exempel en pdf, kan servern skicka med samma instruktion som en header: X-Robots-Tag: noindex. Effekten är densamma.
Oftast behöver du inte skriva det själv:
- AI Builder: öppna delen SEO, välj sidan och stäng av reglaget Den här sidan är sökbar i Google under Mer för den här sidan. Sidan är fortfarande tillgänglig, men får en noindex. Publicera sedan igen.
- WordPress: ett SEO-tillägg har en inställning per sida för att inte låta sidan indexeras. Kryssrutan Hindra sökmotorer från att indexera denna webbplats under Inställningar, Läsa gäller hela webbplatsen.
- Andra webbplatsbyggare: leta efter en inställning som "dölj för sökmotorer".
Skapa eller ändra robots.txt
På ett webbhotellspaket ligger robots.txt i webbmappen för din domän, i DirectAdmin mappen public_html. Du skapar eller redigerar filen via filhanteraren eller FTP, se Öppna filhanteraren: mapparna i ditt paket. Ett exempel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gäller för alla sökrobotar.Disallow:med en sökväg förbjuder allt som börjar med den sökvägen.Disallow: /förbjuder hela webbplatsen.- Om du också skapar en grupp
User-agent: Googlebotföljer Google bara den gruppen och ignorerar gruppen*. Upprepa därför där alla regler som också gäller för Google. - Blockera inte mappar med stilmallar, skript eller bilder som din sida behöver.
- Ingen robots.txt är inget problem: då är allt tillåtet. Ger adressen ett serverfel slutar Google tillfälligt att hämta.
WordPress skapar själv en robots.txt så länge det inte finns någon fil i webbmappen. AI Builder lägger själv in en robots.txt med en Sitemap:-rad när du publicerar.
Utförlig förklaring med skärmbilder: Sitemap och robots.txt i AI Builder och Sitemap och robots.txt i WordPress och på din egen webbplats i guiden Hittas online.
Google sparar oftast din robots.txt i upp till 24 timmar. I Search Console hittar du robots.txt-rapporten under Inställningar: vilken version Google senast hämtade, med fel och varningar, och en knapp för att låta Google hämta den igen.
En borttagen sida: 404 eller 410, inte soft 404
Har du tagit bort en sida ska adressen ge statuskoden 404 (hittades inte) eller 410 (borttagen). Vid nästa besök tar Google då bort adressen från sökresultaten. Har sidan en efterföljare, vidarebefordra då den gamla adressen med en 301 till den nya sidan, se Omdirigera webbplats: vidarebefordra en domän eller sida.
En soft 404 är en sida som säger att den inte finns, eller är nästan tom, men ändå ger koden 200 (hittad). Google känner ofta igen det och tar inte med en sådan sida. I Search Console ser du det som orsaken Soft 404. Även att vidarebefordra alla borttagna sidor till din startsida kan räknas som soft 404. Låt därför en sida som verkligen är borta ge en riktig 404 eller 410.
Måste en sida snabbt bort från resultaten, till exempel för att den av misstag innehöll personuppgifter? Använd då Borttagningar i Search Console. Det fungerar tillfälligt, ungefär sex månader. Se därför också till att sidan har en 404, 410, ett lösenord eller noindex.
Läs mer
- Google: Blockera indexering med noindex (på engelska)
- Google: Introduktion till robots.txt (på engelska)
- Google: robots.txt-rapport
- Blockera filer via .htaccess
Använder du WordPress? I lektionen Sökbarhet: grunderna i den kostnadsfria WordPress-kursen kan du läsa mer om robots.txt och kryssrutan Hindra sökmotorer.
Vill du lära dig mer? Gå den kostnadsfria kursen Hittas online, lektion 3.3 robots.txt: vad du ska och inte ska blockera.
Vill du lära dig mer? Gå den kostnadsfria kursen Synas på nätet, lektion 3.3 robots.txt: vad du ska och inte ska blockera.