Sitemap en robots.txt bij de AI Builder

Maak je je website met de AI Builder, dan regelt de AI Builder de techniek voor zoekmachines zelf. Bij elke publicatie zet hij een nieuwe sitemap.xml en een robots.txt in de webmap van je site. Jij controleert alleen of je site op vindbaar staat.

Wat de AI Builder maakt

• sitemap.xml met alle pagina's die vindbaar zijn, ook de berichten van je nieuwspagina, met per pagina de datum van de laatste wijziging. Heeft je site meer talen, dan staan alle taalversies erin.
• robots.txt met de regels User-agent: *, Allow: / en Sitemap: met het adres van je sitemap.
• Per pagina een canonical-link, en je bedrijfsgegevens als gestructureerde gegevens als je die invult bij Bedrijfsgegevens.
• Een melding via IndexNow na elke publicatie (zie IndexNow: wijzigingen zelf melden).

Staat je site op vindbaar?

1. Ga in Mijn WebOké naar AI Builder en klik bij je website op Open in de builder.
2. Klik in de rail links op SEO (1).
3. Kies bovenaan Hele site en klap Vindbaarheid open.
4. Zet Site vindbaar in Google (2) aan.
5. Klik rechtsboven op Publiceer wijzigingen. Pas dan staat de nieuwe instelling op je echte site.

Staat de schakelaar uit, dan zet de AI Builder Disallow: / in robots.txt en een noindex op elke pagina. Zoekmachines slaan je hele site dan over. Dat is handig zolang je nog bouwt. Vergeet hem niet aan te zetten als je site af is.

Wil je één pagina buiten Google houden, bijvoorbeeld een bedankpagina? Kies dan bovenaan Deze pagina en zet Deze pagina vindbaar in Google uit. Die pagina verdwijnt uit de sitemap en krijgt een noindex.

Let op: Een gratis website op een adres van ons, zoals naam.weboke.site, is nooit zichtbaar in zoekmachines, ook niet als de schakelaar aan staat. Search Console en Bing hebben dan geen zin. Je site moet op je eigen domein staan, met het pakket AI Builder (zie AI Builder: aanpassen, versies en publiceren).

Controleren

Open na het publiceren in je browser:

• https://jouwdomein.nl/robots.txt: daar hoort Allow: / te staan en een regel Sitemap:.
• https://jouwdomein.nl/sitemap.xml: daar horen de adressen van je pagina's in te staan, met je eigen domein.

Google en Bing verificatie

In hetzelfde paneel staat het blok Google en Bing verificatie. Dat heb je niet nodig als je je domein verifieert met een TXT-record in de DNS, zoals in Je domein verifiëren in Mijn WebOké. Dat is ook wat we aanraden.

Gebruik je in Search Console toch een property met URL-voorvoegsel en de methode HTML-tag, of in Bing de methode meta-tag? Dan plak je hier de code. Plak alleen de code zelf: het deel dat in de meta-tag tussen de aanhalingstekens achter content= staat. De AI Builder zet de meta-tag er zelf omheen. Publiceer daarna en klik pas dan op verifiëren.