Hakukoneoptimointi

Näin piilotat sivut hakukoneilta oikein

Kaikkien sivujen ei kuulu näkyä Googlessa. Kiitossivu, henkilökunnan ohjesivu tai keskeneräinen kampanjasivu hakutuloksissa näyttää huolimattomalta ja voi jopa sotkea mittaamisen. Oikea työkalu sivun piilottamiseen on noindex, ja tässä oppaassa opit käyttämään sitä niin, että sivu oikeasti pysyy poissa hakutuloksista.

Samalla vältät yleisimmän virheen: moni yrittää piilottaa sivuja robots.txt-tiedostolla, mikä ei poista sivua Googlen hakemistosta. Pahimmillaan se estää oikean piilotuskeinon toimimisen kokonaan.

Tarvitset: pääsyn sivustosi hallintaan (WordPress-esimerkeissä ylläpitäjän tunnukset) sekä mielellään Google Search Consolen käyttöoikeuden tarkistuksia varten.

Milloin sivu kannattaa piilottaa hakukoneilta

Tyypillisiä sivuja, joiden ei pidä näkyä hakutuloksissa:

  • Kiitossivut: sivu, jolle kävijä ohjataan tilauksen tai yhteydenoton jälkeen. Jos kävijä löytää kiitossivun suoraan Googlesta, konversioseurantasi kirjaa konversioita joita ei tapahtunut.
  • Sisäiset sivut: henkilökunnan ohjeet, hinnastoluonnokset ja muu materiaali, joka on julkisella palvelimella vain käytännön syistä.
  • Keskeneräinen tai testisivusto: uudistuksen työversio (staging) ei saa päätyä hakutuloksiin kilpailemaan oikean sivuston kanssa.
  • Ohut ja päällekkäinen sisältö: esimerkiksi sivuston omat hakutulossivut tai lähes tyhjät avainsana-arkistot, jotka eivät tarjoa hakijalle mitään.
  • Mainosten laskeutumissivut: kampanjasivu, jonka haluat näyttää vain maksetulle liikenteelle, jotta testitulokset pysyvät puhtaina.

Sen sijaan hitaita tai huonosti optimoituja sisältösivuja ei kannata piilottaa, vaan parantaa. Piilottaminen on ratkaisu vain silloin, kun sivun ei kuulu löytyä haulla lainkaan.

Noindex kertoo Googlelle: älä näytä tätä sivua

Noindex on sivun lähdekoodiin lisättävä robots-metatagi, joka kieltää hakukoneita näyttämästä sivua hakutuloksissa. Se sijoitetaan sivun <head>-osioon:

<meta name="robots" content="noindex">

Kun Googlebot seuraavan kerran käy sivulla ja näkee tagin, sivu putoaa pois hakutuloksista. Tämä on Googlen oma suosittelema tapa estää sivun indeksointi, ja se toimii luotettavasti yhdellä ehdolla: Googlen täytyy päästä lataamaan sivu nähdäkseen tagin.

Muutos ei näy heti. Sivu poistuu hakutuloksista vasta, kun Google indeksoi sen uudelleen, mihin voi mennä päivistä viikkoihin. Googlen indeksoinnin toimintaa ymmärtämällä tiedät, miksi viive on normaali.

Robots.txt ei poista sivua hakutuloksista

Tämä on aiheen klassikkovirhe. Robots.txt on palvelimen juuressa oleva tekstitiedosto, jolla hallitaan hakukoneiden ryömintää eli sitä, mitä osoitteita botit saavat ladata. Se ei hallitse indeksointia. Googlen oma dokumentaatio sanoo asian suoraan: robots.txt ei ole keino pitää sivua poissa Googlesta, ja estetty sivu voi silti päätyä hakutuloksiin, jos siihen linkitetään muualta.

Silloin Google näyttää tuloksissa pelkän osoitteen ilman kuvausta, koska se tietää sivun olemassaolosta linkkien kautta muttei saa lukea sisältöä.

Vielä pahempi on näiden kahden yhdistelmä. Jos estät sivun robots.txt-tiedostossa ja lisäät sille noindex-tagin, Google ei koskaan näe tagia, koska esto kieltää sivun lataamisen. Noindex jää siis tehottomaksi juuri sen takia, että yritit varmistella robots.txt:llä. Muistisääntö:

  • Haluat sivun pois hakutuloksista: käytä noindexia ja anna Googlen ryömiä sivu vapaasti.
  • Haluat säästää palvelinta turhalta ryöminnältä (esimerkiksi loputtomat suodatinsivut): käytä robots.txt-tiedostoa.

Näin asetat noindexin WordPressissä

Helpoin tapa on SEO-lisäosa. Esimerkit ovat Yoast SEO -lisäosasta, mutta vastaava asetus löytyy myös esimerkiksi Rank Mathista ja All in One SEO:sta.

Yksittäisen sivun piilottaminen:

  1. Avaa sivu tai artikkeli muokattavaksi ja avaa Yoast SEO -paneeli editorin sivupalkista tai sisältöalueen alta.
  2. Avaa Advanced-osio (suomenkielisessä käännöksessä lisäasetukset).
  3. Valitse kohdassa Allow search engines to show this content in search results? vaihtoehto No.
  4. Tallenna sivu. Yoast lisää noindex-tagin ja pudottaa sivun samalla pois XML-sivukartasta, jotta et tarjoa Googlelle listaa sivuista joita kiellät näyttämästä.

Kokonaisen sisältötyypin (esimerkiksi kaikki avainsana-arkistot) voi piilottaa kerralla: avaa Yoast SEO → Settings, valitse sisältötyyppi ja käännä Show in search results -kytkin pois päältä.

Varo koko sivuston piilottavaa asetusta

WordPressissä on myös sivustonlaajuinen asetus: Asetukset → Lukeminen → Näkyvyys hakukoneille, valintaruutu ”Estä hakukoneita indeksoimasta tätä sivustoa”. Se lisää noindex-tagin jokaiselle sivulle.

Asetus on kätevä keskeneräisellä sivustolla, mutta se on myös yleisimpiä syitä sille, että uusi sivusto ei näy Googlessa lainkaan: ruutu on jäänyt julkaisun jälkeen päälle. Tarkista tämä aina ensimmäisenä, jos koko sivusto puuttuu hakutuloksista. Huomaa myös WordPressin oma varoitus asetuksen vieressä: hakukoneet päättävät itse, noudattavatko ne pyyntöä.

X-Robots-Tag: noindex tiedostoille

Metatagin voi lisätä vain HTML-sivulle. Jos haluat piilottaa esimerkiksi PDF-tiedoston tai kuvan, sama ohje annetaan palvelimen HTTP-vastauksen otsakkeena:

X-Robots-Tag: noindex

Otsake määritetään palvelimen asetuksissa, esimerkiksi Apachen .htaccess-tiedostossa tai Nginxin asetuksissa. Tämä on harvemmin tarpeen tavallisella sivustolla, mutta hyvä tietää, kun hakutuloksista löytyy vanha hinnasto-PDF jonka ei kuuluisi näkyä.

Salasanasuojaus, kun sisältö on oikeasti salaista

Noindex ei ole tietoturvaa. Se pyytää hakukoneita olemaan näyttämättä sivua, mutta kuka tahansa, joka tietää tai arvaa osoitteen, voi avata sivun selaimessa. Jos sisältöä ei saa nähdä kukaan ulkopuolinen, suojaa se salasanalla:

  • Yksittäinen sivu WordPressissä: julkaisuasetusten Näkyvyys-kohdasta valinta Salasanasuojattu.
  • Koko testisivusto: palvelintason salasanasuojaus (HTTP basic authentication), jonka saa päälle useimpien webhotellien hallintapaneelista tai hosting-kumppanilta. Tämä on varmin staging-ympäristön suojaus, koska hakukone ei pääse edes lataamaan sivuja.

Myös Google suosittelee salasanasuojausta silloin, kun tavoite on estää pääsy sisältöön eikä vain siistiä hakutuloksia.

Kiireelliset tapaukset: Search Consolen poistotyökalu

Jos hakutuloksissa näkyy jotain, minkä pitää kadota nopeasti (esimerkiksi vahingossa julkaistu hinnasto), noindexin odottelu ei riitä. Google Search Consolen Poistot (Removals) -työkalulla voit pyytää osoitteen piilottamista hakutuloksista, ja pyyntö toteutuu yleensä alle vuorokaudessa.

Poisto on kuitenkin väliaikainen: se kestää noin kuusi kuukautta. Sinä aikana sinun täytyy tehdä pysyvä ratkaisu eli lisätä sivulle noindex, suojata se salasanalla tai poistaa sivu kokonaan (jolloin palvelimen tulee palauttaa 404- tai 410-vastaus). Muuten sivu voi palata hakutuloksiin määräajan jälkeen.

Yleiset virheet

  • Robots.txt-esto ja noindex yhtä aikaa: esto piilottaa noindex-tagin Googlelta, eikä sivu poistu hakemistosta. Poista robots.txt-esto ja anna noindexin tehdä työnsä.
  • Koko sivuston esto jää päälle julkaisussa: tarkista Asetukset → Lukeminen aina sivuston julkaisun jälkeen.
  • Noindex-sivut sivukartassa: XML-sivukartan kuuluu listata vain indeksoitavat sivut. Yoast hoitaa tämän automaattisesti, mutta käsin tehty sivukartta pitää siivota itse.
  • Noindexia luullaan tietoturvaksi: arkaluontoinen sisältö suojataan salasanalla, ei metatagilla.
  • Odotetaan välitöntä vaikutusta: sivu poistuu vasta uudelleenindeksoinnin yhteydessä. Voit nopeuttaa prosessia pyytämällä sivun tarkistusta Search Consolen URL-tarkastustyökalulla, ja kiireessä käytät poistotyökalua.

Linkit