Såhär gör du för att Google inte skall indexera din webbsida

Det kan finnas många olika anledningar till att hålla webbsidor borta från Googles index. Det kan vara en utvecklingsmiljö eller att du har problem med duplicate content på din webbplats. Nedan hittar du några av de bästa sätten att hålla ditt innehåll dolt från Google.

Lösenordsskydda dina servermappar

Normalt sett så är det en bra idé att hålla ditt innehåll dolt och säkert med hjälp av lösenordsskyddade mappar om du inte vill att någon obehörig ska kunna se det, eller att sökmotorer ska kunna fånga (crawla) det. Crawlers på webben kan normalt sett inte få tillgång till sådant som är dolt bakom en lösenordsvägg. Är du utvecklare är det såhär du skall försöka jobba och inte skapa en subdomän och lägga utvecklingen där. Det är ganska vanligt att utvecklare glömmer stänga ute Google.

Få Topdog videos & SEO-kunskap direkt i din mailbox!

Vi på Topdog delar med oss av våra kunskaper inom SEO i videoform. Exempel på detta är denna videon där du får lära dig vad VD:ar och manegment team behöver veta för att fatta bra beslut avseende SEO!

Anmäl dig här för fler videos!

• Namn*
• E-post*
• Comments
  Detta fält används för valideringsändamål och ska lämnas oförändrat.

Robots.TXT-direktiv

Att använda sig av ”nekad åtkomst”-kommandot i robots.txt skall normalt sett stoppa Google från att crawla ditt innehåll som du vill hålla borta från index. Dock ska en varning utfärdas – om själva URL:en är länkad från någon plats som Google kan crawla kommer den fortfarande att bli indexerad.

Ovan ser ni ett exempel på en webbsida som rankar etta på ett konkurrensutsatt ord trots att ägarna försöker stänga ute Google.

Indexeringsdirektiv med metataggar

Det bästa sättet för dig att hålla sökmotorerna borta från ditt innehåll utan att använda dig av lösenordsskydd är helt enkelt att använda sig av ”noindex”, en metatagg i en webbsidas kod. Det kommer att göra att sidan aldrig någonsin kommer att indexeras, oavsett om den har inlänkar eller inte.

Speciellt viktigt är det att säkerställa att Google ej indexerar utvecklingsmiljöer. Det är väldigt vanligt att webbyråer slarvar med detta och no index är att bra sätt att stänga ute Google från utvecklingsmiljön.
Konsekvensen av att inte hålla Google borta från er utvecklingsmiljö är att du kan få flera versioner av din webbsida i Googles index och det kommer förvirra Google och ett förvirrat Google är dåligt för din ranking och därmed din trafik från Google.

Ett Varningens ord:
Om du använder dig av robots.TXT-direktivet och Noindex samtidigt så kommer Google fortfarande att indexera URL:en. Det beror helt enkelt på att dessa två står i konflikt med varandra, vilket gör att du i princip berättar för Google att ”Crawla inte den här sidan eller mappen”. Det betyder att Google inte uppfattar metataggen med Noindex på sidan och indexerar sidan ändå – om den finns länkad på ett plats Google kan crawla. Här har du ett exempel:
Det här är Matt Cutts Robot.TXT-fil.
Lägg märke till att han blockerat folderna ”files”
Här är en testsida som Matt skapade med ”no-index”
Nedan har samma testsidan i Google. Hans regel om Noindex i metataggen fungerar inte på grund av att robots.TXT är aktivt, vilket i sin tur innebär att URL:en blir indexerad:

 Såhär tar du bort en webbsida från Googles index (avindexering)

Det bästa sättet att ta bort en webbsida eller mapp från Googles index är att använda sig av Webmaster Tools.

1. Logga in i Webmaster Tools
2. Välj den sidprofil som du vill ta bort
3. Klicka på ”Google Index” till vänster
4. Klicka på ”Remove URL:s”
5. Klicka på ”New Removal Request”
6. Fyll i den URL eller mapp som du vill ta bort
7. Klicka på ”yes remove this page”
8. Klicka på ”Submit Request”
Den här åtgärden, att ta bort urlar via Google Webmaster tool gäller dock enbart i 90 dagar – det betyder att det är mer klokt att använda sig av de sätt som jag har beskrivit för er ovan.