Indexering: vad som kommer med i indexet och vad som inte gör det

Modul 1: Så fungerar sökmotorer · Lästid: 11 minuter

Lärandemål: Efter den här lektionen kan du bedöma om en sida kan komma med i indexet, och om inte, vilket av de fyra "låsen" som stoppar den: statuskoden, robots.txt, noindex eller canonical.

Nyckelbegrepp: indexering, Googles tekniska krav, noindex (meta robots och X-Robots-Tag), robots.txt är inte noindex, kanonisering, duplicerat innehåll, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", ingen garanti

Vad som händer vid indexeringen

När crawlern har hämtat en sida (lektion 1.2) börjar sökmotorn läsa den. Google analyserar texten, titeln, rubrikerna, bilder och videor, och avgör vilket språk sidan är skriven på. Google tar också reda på om sidan är en kopia av en annan sida, och vilken av kopiorna som är den "riktiga". Först därefter bestämmer Google om sidan kommer med i indexet.

Google säger två saker om detta som du bör komma ihåg:

• Indexering är inte garanterad. Även om din sida uppfyller alla krav kan Google välja att inte ta med den.
• Det är normalt att inte allt är indexerat. Google skriver ordagrant i hjälpen för indexeringsrapporten att du inte ska förvänta dig att varje adress på din webbplats är indexerad, och att det kan vara helt i sin ordning. Det är dina viktiga sidor som räknas.

De tre tekniska kraven

Google nämner tre tekniska krav för att en sida ska kunna komma i fråga för indexet:

1. Googlebot blockeras inte. Sidan går att nå och robots.txt förbjuder inte hämtningen.
2. Sidan fungerar. Servern svarar med statuskod 200, inte med ett fel.
3. Sidan har indexerbart innehåll. Text i ett filformat som Google kan läsa, och inget brott mot spampolicyn.

I praktiken tillkommer två val som webbplatsens ägare gör: en noindex ("ta inte med det här") och en canonical som pekar på en annan adress ("inte den här, utan den där"). Tillsammans blir det fyra lås som en sida måste ta sig igenom.

Lås 1: statuskoden

Bara en sida med status 200 kan komma med i indexet. En 301 eller 308 skickar sökmotorn vidare till den nya adressen; det är då den nya adressen som bedöms. En 404 eller 410 tar bort en tidigare indexerad adress från indexet.

Den knepiga varianten är soft 404 från lektion 1.2: status 200, men innehållet är ett felmeddelande eller en nästan tom sida. Google känner ofta igen det och tar inte med en sådan sida. Även en tom kategorisida i en webbutik ("inga produkter hittades") kan ses som en soft 404.

Lås 2: robots.txt

Med robots.txt förbjuder du en crawler att hämta en sida. Det är något annat än att förbjuda att den tas med i indexet. Google är tydligt på den punkten: robots.txt är inget sätt att hålla en sida borta från Google. Om andra webbplatser länkar till en blockerad sida kan adressen ändå dyka upp i resultaten, fast utan beskrivning. I Search Console heter det "Indexed, though blocked by robots.txt".

Robots.txt är till för att styra crawlningen: till exempel för att hindra en crawler från att gå igenom tusentals sökresultatsidor på din egen webbplats. Lektion 3.3 går djupare in på det.

Lås 3: noindex

Vill du verkligen att en sida inte ska synas i sökresultaten, använd då noindex. Det kan göras på två sätt, med samma effekt:

<!-- i sidans <head> -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Det andra är en HTTP-header som servern skickar med. Den fungerar också för filer som inte är HTML, till exempel en pdf. Värdet none betyder samma sak som noindex, nofollow. Med <meta name="googlebot" content="noindex"> gäller regeln bara Google; andra sökmotorer kan tolka en allmän regel på ett annat sätt.

Nu kommer fallgropen som är väldigt vanlig: noindex och en blockering i robots.txt fungerar inte tillsammans. Om robots.txt blockerar sidan hämtar Google den inte, och då ser Google aldrig din noindex. Sidan kan då ändå komma med i indexet via länkar från andra. Vill du få bort en sida från Google: låt den hämtas och sätt noindex på den.

Var kan du stöta på noindex utan att ha menat det?

• I WordPress finns under Inställningar, Läs kryssrutan "Avråd sökmotorer från att indexera denna webbplats". Den sätter noindex på hela webbplatsen. Praktiskt medan du bygger, förödande om du glömmer att stänga av den.
• I AI Builder kan du ställa in att en webbplats eller sida inte ska indexeras; då hamnar en noindex, nofollow i sidan. En gratis demowebbplats indexeras heller aldrig.
• Ett SEO-tillägg eller tema med fel inställning för en enskild sida eller en sorts sidor.

Andra webbplatsbyggare har liknande reglage, ofta med ett namn som "dölj för sökmotorer".

Lås 4: canonical

Många webbplatser har samma sida under flera adresser: med och utan www, med http och https, med en parameter på slutet som ?utm_source=nieuwsbrief. Google väljer ut en adress ur en sådan grupp som kanonisk version och visar bara den adressen i resultaten. De andra är dubbletter.

Du kan hjälpa Google att välja med en vidarebefordran (en stark signal) eller med en canonical-hänvisning i sidan:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

En canonical är en signal, inte en order: Google kan välja en annan adress. Pekar din canonical på en annan adress säger sidan själv: "ta inte med mig, ta med den andra". Det är bra när det stämmer, och ett problem när det är ett misstag, till exempel när varje sida pekar på startsidan. Lektion 3.5 går vidare in på det här.

Duplicerat innehåll på din egen webbplats är enligt Google inget brott mot spampolicyn och leder inte till någon manuell åtgärd. Det är däremot ineffektivt: crawlers hämtar samma sak flera gånger, och du bestämmer inte själv vilken adress som visas i resultaten.

Meddelandena i Search Console

I rapporten Pages i Search Console (lektion 2.4) ser du ett skäl för varje sida som inte är indexerad. Alla fyra låsen återkommer där:

De två sista är inga tekniska fel. "Crawled - currently not indexed" är vanligt; Google säger att det inte alltid är ett problem. Gäller det en viktig sida, kontrollera då om den verkligen tillför något: en unik, användbar sida har större chans än en tunn sida som liknar tio andra.

Sammanfattning

• Efter crawlningen avgör sökmotorn om en sida kommer med i indexet; det är aldrig garanterat och allt behöver inte vara med.
• Fyra lås: status 200, inte blockerad i robots.txt, ingen noindex, canonical saknas eller pekar på sidan själv.
• robots.txt förbjuder hämtning, inte indexering. Använd noindex för att hålla något borta från resultaten, och blockera då inte den sidan i robots.txt.
• En canonical är en stark signal, inte en order. Duplicerat innehåll är inte spam, men ineffektivt.
• "Crawled - currently not indexed" är inget tekniskt fel; titta på sidans värde.

Quiz

Uppgift

Uppgift A1.3: Får den här sidan komma med i indexet? Fyll i adressen till en sida (en sida på din egen webbplats, eller en sida som du medvetet döljer, till exempel en tack-sida). Välj sedan vad du förväntar dig: "får komma med i indexet" eller "får inte komma med i indexet", och om du väljer "får inte", vilket lås som stoppar den (statuskod, robots.txt, noindex, canonical till annan adress). Programmet går igenom de fyra låsen som i den här lektionen och ställer sitt resultat bredvid ditt.

Läs mer

• Google, Tekniska krav för Google Sök: https://developers.google.com/search/docs/essentials/technical
• Google, Blockera indexering med noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introduktion till robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Slå ihop dubblettwebbadresser (kanonisering): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Hjälp för Google Search Console, rapporten Page indexing: https://support.google.com/webmasters/answer/7440203