Dlaczego strona nie indeksuje się lub została usunięta z Google

Przyjrzyjmy się popularnym problemom z indeksowaniem witryny, jakie napotykają webmasterów. Świadomość tych wszystkich zagrożeń i zdolność szybkiego diagnozowania problemów jest tym, co powinno cechować każdego profesjonalnego SEO.

Google rozpoznaje oraz informuje webmastera o większości poważnych błędów z dostępem do witryny i błędami indeksowania. Ważne jest posiadanie konta w Narzędziach dla webmasterów i systematyczne kontrolowanie komunikatów o zdrowiu witryny.

Strona nie indeksuje się, bo jest… nowa

To najbardziej pospolity powód braku indekacji. Stworzyłeś wczoraj witrynę i z niecierpliwością oczekujesz na pojawienie się jej w wynikach wyszukiwania. Bądź cierpliwy. Przemierzanie i indeksowanie to algorytmiczny proces, który zależy od wielu czynników i wymaga czasu. Zadbaj o poprawną budowę strony, ciekawą treść. Dodaj stronę do Narzędzi dla webmasterów, przygotuj mapę witryny oraz zapewnij kilka pierwszych odnośników z innych stron.

Własne działania webmastera

Webmaster przez nieumiejętne obchodzenie się z narzędziami Google albo nieznajomość dyrektyw dla robotów może sam doprowadzić do wyindeksowania lub zablokowania dostępu do witryny.

• Usunięcie strony, katalogu lub wybranego adresu URL w Narzędziach dla webmasterów

Tak, to zdarza się nie tak wcale rzadko. Webmaster może sam zgłosić rządnie usunięcia strony. Często nad stroną pracuje kilka osób, które mają dostęp do Narzędzi dla webmasterów, a brak komunikacji między zespołem może doprowadzić do problemów.

Materiały zgłoszone do usunięcia nie będą się pojawiać w wynikach wyszukiwania przez około 90 dni. W ciągu trwania tego okresu usunięte zasoby można przywrócić do wyników wyszukiwania w Narzędziach dla webmasterów: Optymalizacja > Usuń URL-e > Usunięta treść > Uwzględnij ponownie.

• Robots.txt i metatagi

Nieznajomość zasad rządzących dyrektywami w pliku robots.txt to jedena z najpopularniejszych przyczyn problemów z indeksowaniem jaki webmaster może sobie zaserwować. Zdarza się zarówno początkującym webmasterom jak i firmom, które zajmują się pozycjonowaniem i  mają w swojej ofercie usługi optymalizacji stron.

Nawet jeżeli masz dobrze ustawiony plik Robots.txt, to warto okresowo spojrzeć na jego zawartość. Znane mi są przypadki pudełkowych sklepów, gdzie hosting napisał zawartość pliku Robots.txt.

Jeżeli twój metatag wygląda mniej więcej tak:

<meta name="robots" content="noindex" />

i/lub w pliku Robots.txt masz zapis

Useragent: Googlebot
Disallow: /

to znaczy, że mamy problem :). Przeczytaj dokumentację nt. robots.txt.

Techniczne problemy z serwerem i błędy indeksowania

Tu jest cała litania błędów i problemów, jakie mogą powodować brak dostępu robotom do witryny lub jej części.

• Niedostępność serwera

Krótkotrwałe problemy z hostingiem nie powinny wpływać na widoczność strony w indeksie. To zupełnie naturalne i zdarza się wszystkim witrynom. Jeżeli problem przeciąga się, to Google może usunąć witrynę do czasu rozwiązania problemów z dostępnością serwera dbając o jakość wyników wyszukiwania.

Googlebot będzie kilkukrotnie próbować uzyskać dostęp nim usunie witrynę z indeksu. Cierpliwość Google zależy tu od wielu czynników. Im krótszy czas przestoju, tym lepiej. Zminimalizujesz ryzyko korzystając z renomowanych firm hostingowych. Dbaj o szybkość ładowania strony i optymalizuj skrypt, bo ekstremalnie długi czas odpowiedzi serwera nie jest dobrym sygnałem o jakości strony.

• Błędy indeksowania

Najczęściej spotykane błędy dotyczą blokowania dostępu robota do serwera, zwracania kodów błedu HTTP,  konfiguracji DNS, nieprawidłowych przekierowań i pętli przekierowań.

Czasami znalezienie przyczyn nie jest takie oczywiste. Dla przykładu źle skonfigurowany serwer mimo wysyłania w nagłówkach kodów błędu typu 403, 404, 500 potrafi przesyłać do przeglądarek treść strony. Może to uśpić czujność mało doświadczonego webmastera, który wprawdzie widzi, że strona jest prezentowana prawidłowo, ale nie ma pojęcia dlaczego kolejne podstrony witryny znikają z indeksu Google. Dlatego jeszcze raz polecam dodanie witryny do Narzędzi dla webmasterów Google.

Naruszenie wskazówek jakościowych

Google może usunąć z indeksu witryny naruszające wskazówki jakościowe dla webmasterów. Z indeksu usuwane są takie witryny jak farmy linków, precle, sieci blogów, strony przejściowe, witryny stosujące cloaking oraz witryny zawierające znaczną ilość nieoryginalnych/powielonych treści. Na czasowe sankcje mogą liczyć właściciele przyzwoitych stron, którzy jednak zbłądzili używając takich technik jak upychanie słów kluczowych, ukrywanie tekstu.

Zakup domeny ze złą historią lub domeny zaparkowanej

Jeżeli nowo zakupiona domena nie indeksuje się, a wykluczyłeś wszelkie błędy natury technicznej to sprawdź koniecznie historię domeny na przykład szukając jej śladów w sieci odpytując nazwę domeny w Google lub w wyszukiwarkach Bing, Yandex czy Baidu. Domeny używane mają bardzo często za sobą dosyć złą historię naruszania wskazówek jakościowych Google. Jeżeli poprzedni właściciel nie blokował dostępu robotom serwisu Archive.org, to będzie można tam sprawdzić dobrze historię domeny.

Stronę należy zgłosić do ponownego uwzględnienia. Trzeba pamiętać, aby witryna była zgodna ze wskazówkami dla webmasterów Google. W przeciwnym wypadku zgłoszenie będzie całkowicie bezcelowe.

Powody natury prawnej

Każdy użytkownik uważający, że określony dokument w indeksie Google należy usunąć ze względów prawnych może przesłać do Google zgłoszenie za pomocą formularza https://support.google.com/legal/answer/3110420.

Zgłoszenie przesyłane i rozpatrywane jest dalej przez organizację Lumen. Jej zadaniem jest gromadzenie i analizowanie prawnych skarg dotyczących aktywności w sieci oraz pomoc użytkownikom Internetu w poznaniu i zrozumieniu prawa.

Jeżeli wniosek zostanie uwzględniony, to wybrany dokument jest usuwany z wyników wyszukiwania. Webmaster otrzymuje powiadomienie w Narzędziach dla webmasterów i może zgłosić kontrwniosek. Natomiast użytkownicy wyszukiwarki widzą w stopce wyników adnotację dotyczącą wybranych usuniętych wyników wraz z odnośnikiem do uzasadnienia.

Inne przyczyny usunięcia strony lub problemów z indeksowaniem

• Błąd w algorytmach Google

Mimo bardzo długiego i wieloetapowego procesu testowania i wprowadzania zmian w algorytmach nawet Google okazjonalnie popełnia krytyczne błędy. W tym roku miał miejsce przypadek, kiedy niektóre domeny zostały błędnie oznaczone przez algorytm jako zaparkowane. Błędy zdarzały się w przeszłości i pewnie mogą się zdarzyć w przyszłości, dlatego nie należy panikować. Duże zmiany w indeksie odbijają się szerokim echem w Internecie i należy szukać informacji na forach dla webmasterów lub profilach pracowników Google oddelegowanych do kontaktów ze społecznością webmasterów.

• Strona padła ofiarą ataku hakera

Strona może zostać zmodyfikowana przez hakera, który zastosuje w witrynie np. cloaking lub przekierowanie 301 na potrzeby pozycjonowania stron programów partnerskich typu viagra, kasyna i tym podobne. Po usunięciu zmian wprowadzonych przez hakera można zgłosić stronę do ponownego uwzględnienia.

• Wybór URL z innej domeny i dublowanie treści

Indeksując zasoby sieci Google stosuje algorytmy, które pozwalające wybrać jeden reprezentatywny URL spośród zestawu adresów wskazujących jednakową treść. Udostępnianie tej samej treści pod kilkoma domenami, tworzenie dużej liczby bardzo podobnych witryn może skutkować uruchomieniem algorytmów wybierających jeden reprezentatywny URL lub usunięciem, albo znacznym obniżeniu widoczności zdublowanych domen/dokumentów.

• Nadanie stronie niższego priorytetu indeksowania

Okresowo nawet na znanych i renomowanych serwisach da się zauważyć znaczne pogorszenie indeksowania nowych podstron.  Mimo stałego produkowania świeżych treści, nowe podstrony nie dostają się do indeksu tak szybko jak się do tego przyzwyczailiśmy. Stan taki zazwyczaj nie trwa długo zazwyczaj kilka dni do kilkunastu dni.

Należy zbadać czy na stronie nie występowały problemy z dostępem do strony, z jakością lub podstawiania Google do indeksowania dużej ilości mało istotnych podstron takich jak wyniki wyszukiwania, tagi.

Nie indeksuje się, bo tak…

Pamiętaj, że Google nie gwarantuje żadnej stronie jej przemierzania, indeksowania oraz prezentowania w wynikach wyszukiwania.

Na koniec oczywiście  życzę każdemu webmasterowi, aby Googlebot często odwiedzał witrynę, a świetne treści angażowały użytkowników i przyciągały masę naturalnych linków :D.

Comments
  • Bardzo dobry artykuł. Wszystkie informacje jakich szukałem znalazłem tutaj. Również życzę wszystkim webmaserom częstych odwiedzin googlebota 🙂

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *