natopie.pl | Grzegorz Ławniczek – SEO, pozycjonowanie stron i sklepów internetowych
Jedno z pytań, które od lat wraca w niemal każdej rozmowie z klientem prowadzącym sklep internetowy, brzmi: „co zrobić z produktem, którego nie ma już w ofercie?”. Pozornie proste pytanie, a w praktyce wymaga zrozumienia kilku powiązanych ze sobą mechanizmów – crawl budgetu, sposobu działania indeksacji w Google Search Console i realnego wpływu błędów 404 na pozycjonowanie.
W tym artykule odpowiadam na wszystkie te pytania po kolei, opierając się na mechanice działania Google opisanej oficjalnie przez firmę, oraz na własnym doświadczeniu z dużymi serwisami e-commerce.
Co to jest crawl budget i dlaczego ma znaczenie?
Crawl budget (budżet indeksowania) to limit zasobów, jakie Googlebot przeznacza na skanowanie Twojej witryny w danym czasie. Większość wydawców nie musi się tym przejmować – jeśli indeksowanie nowych stron zwykle odbywa się tego samego dnia, w którym są publikowane, webmasterzy nie muszą się na tym skupiać. Podobnie witryny z mniej niż kilkoma tysiącami adresów URL są zwykle efektywnie indeksowane.
Problem zaczyna się przy większych serwisach. Określanie priorytetów treści do indeksowania, czasu skanowania i ilości zasobów, jakie można na to przeznaczyć na serwerze hostującym witrynę, jest ważniejsze w przypadku większych witryn lub takich, które automatycznie generują strony na podstawie parametrów adresów URL. To dokładnie opisuje większość średnich i dużych sklepów internetowych – filtry, warianty produktów, paginacja, tagi.
Sam mechanizm działania Googlebota opiera się na tzw. limicie szybkości indeksowania. Jest to maksymalna liczba jednoczesnych połączeń, jakich Googlebot może użyć do zindeksowania witryny, a także czas, jaki musi upłynąć między pobraniami. Jeśli przez jakiś czas witryna reaguje naprawdę szybko, limit się zwiększa. Jeśli czas reakcji witryny się wydłuży lub wystąpią błędy serwera, limit zostanie zmniejszony, a Googlebot będzie indeksować mniej.
Wniosek praktyczny: dla niewielkich stron wizytówkowych crawl budget rzadko jest realnym problemem. Dla sklepów z setkami i tysiącami produktów – to jeden z fundamentów technicznego SEO, bo zmarnowany budżet na skanowanie bezwartościowych adresów oznacza, że ważne podstrony czekają dłużej na zindeksowanie.
Dlaczego warto regularnie sprawdzać indeksację stron w Google Search Console
To jest czynność, którą wykonuję dla każdego klienta cyklicznie, nie jednorazowo. Powód jest prosty: strona może być świetnie napisana, technicznie poprawna i mimo to – niewidoczna w Google, bo po prostu nie została zindeksowana.
Komunikat strona wykryta – obecnie niezindeksowana oznacza, że roboty Google odnalazły Twój adres URL, ale zrezygnowały z jego pobrania i dodania do bazy wyszukiwarki. Najczęstszą przyczyną są przeciążenia serwera, braki w linkowaniu wewnętrznym lub niska jakość treści.
To rozróżnienie jest kluczowe i wielu właścicieli stron go nie rozumie: Google odkrył adres URL (wie, że istnieje), ale świadomie zrezygnował z jego pełnego pobrania i analizy. To nie jest błąd techniczny w rozumieniu „strona się nie ładuje” – to decyzja algorytmu, że dana podstrona nie zasługuje na priorytet w kolejce indeksowania.
Z mojego doświadczenia – skala problemu bywa zaskakująca. Pracowałem niedawno nad dużym serwisem e-commerce w branży meblowej, gdzie ponad 40% asortymentu wpadło do raportu „strona wykryta – obecnie niezindeksowana”. Czterdzieści procent produktów praktycznie niewidocznych dla wyszukiwarki – to nie jest margines błędu, to realna utrata potencjalnej sprzedaży.
Wniosek praktyczny: raport „Indeksowanie stron” w GSC powinien być sprawdzany co najmniej raz w miesiącu, a przy dużych serwisach – co tydzień. To pierwsze miejsce, w którym widać, czy Twoje treści mają w ogóle szansę zaistnieć w wynikach wyszukiwania.
Jak zwiększyć liczbę zaindeksowanych stron w GSC – konkretne działania
1. Popraw czas odpowiedzi serwera
Czas odpowiedzi serwera ma kolosalny wpływ na to, jak skutecznie realizowane jest indeksowanie strony w Google. Zwróć szczególną uwagę na wdrażanie agresywnego systemu cache i wyeliminuj ciężkie wtyczki ładujące zbędne skrypty w tle. Szybki, responsywny serwer to sygnał dla bota, że może bezpiecznie zwiększyć częstotliwość skanowania.
2. Zadbaj o czystą strukturę i sitemapę
Zgłaszanie URL do Google poprzez zabałaganioną sitemapę obniża ogólny wskaźnik jakości domeny, tzw. Crawl Demand. Czysta, precyzyjna struktura przyspiesza indeksowanie stron w Google niemal natychmiastowo. W praktyce oznacza to: sitemapa zawiera wyłącznie adresy, które rzeczywiście chcesz mieć zaindeksowane – żadnych stron z noindex, żadnych przekierowań, żadnych duplikatów.
3. Wzmocnij linkowanie wewnętrzne
Strony „osierocone” – bez linków prowadzących z innych podstron Twojej witryny – są jednym z głównych powodów problemów z indeksacją. Każda ważna podstrona powinna mieć co najmniej kilka linków wewnętrznych prowadzących do niej z innych, już zaindeksowanych miejsc w serwisie.
4. Sprawdź logi serwerowe
Skorzystaj z logów serwerowych, aby zobaczyć, z jakimi problemami zmagają się roboty wyszukiwarki. Znajdziesz tam precyzyjne informacje o blokadach, pętlach przekierowań czy błędach 5xx, o których nie masz pojęcia, przeglądając tylko front-end.
5. Wykorzystaj funkcję „Sprawdź URL” w GSC
W przypadku podstron „Strona wykryta obecnie niezindeksowana” proces indeksacji można przyspieszyć, korzystając z opcji ponownego sprawdzenia adresu w narzędziu „Sprawdź URL” w Search Console. To nie gwarantuje natychmiastowego zaindeksowania, ale potrafi przyspieszyć cały proces, szczególnie dla pojedynczych, ważnych podstron.
6. Eliminuj rzeczywiste błędy techniczne wskazywane przez Google
Kiedy klikniesz lupkę przy problematycznym adresie URL z listy w GSC, dowiesz się, jakie są przyczyny wykrycia błędu, np. adres znajduje się w mapie witryny, ale ma inny problem techniczny. Warto śledzić te szczegóły i systematycznie usuwać wskazane przeszkody.
Czy liczba błędów 404 wpływa na pozycjonowanie strony?
To pytanie zasługuje na precyzyjną odpowiedź, bo panuje wokół niego sporo nieporozumień.
Z perspektywy czystego mechanizmu algorytmu: duża liczba błędów 404 (poza kodem 429) nie wpływa bezpośrednio na wykorzystanie crawl budgetu – przynajmniej tak deklarują przedstawiciele Google.
Ale to nie znaczy, że błędy 404 są nieszkodliwe. Są dwa realne powody, dla których warto je eliminować, mimo deklaracji Google o braku bezpośredniego wpływu na crawl budget:
Po pierwsze – zmarnowane zasoby skanowania. Robot Google, zamiast przeglądać istniejące podstrony i je indeksować, traci zasoby na materiały, które nie istnieją. Nawet jeśli formalnie nie „wyczerpuje” to limitu w sposób, który Google nazywa problemem, to praktycznie oznacza, że część czasu skanowania trafia w próżnię zamiast do wartościowych podstron.
Po drugie – utracone doświadczenie użytkownika i potencjał konwersji. Błąd 404, który się pojawi, skutecznie zniechęci potencjalnych klientów. Wysoki współczynnik odrzuceń na stronach błędu, w połączeniu z utraconymi linkami przychodzącymi, realnie obniża wartość biznesową – nawet jeśli czysto algorytmicznie Google nie karze za samą obecność 404.
Po trzecie – utrata wartości linków przychodzących. Jak wspomniałem wcześniej – jeśli strona z błędem 404 miała linki z innych witryn (backlinki), ta wartość przepada bezpowrotnie, chyba że zastosujesz przekierowanie.
Wniosek praktyczny: liczba błędów 404 sama w sobie nie jest karą algorytmiczną w rozumieniu „im więcej 404, tym gorsza pozycja całej domeny”. Ale każdy pojedynczy błąd 404 na stronie, która miała wartość (ruch, linki, pozycję) – to realna, mierzalna strata. Dlatego traktuję monitoring i naprawę błędów 404 jako standardowy element każdego audytu technicznego SEO, niezależnie od deklaracji Google o ich neutralności dla crawl budgetu.
Tabela – strategie dla produktów niedostępnych w sklepie
| Sytuacja | Rekomendowane rozwiązanie | Wpływ na SEO |
| Produkt wróci za kilka dni/tygodni | Stan 0, info o terminie powrotu | Brak utraty pozycji i linków |
| Produkt wróci, termin nieznany | Przekierowanie 302 na kategorię/zamiennik | Pozycja zachowana, sygnał „tymczasowo” |
| Produkt nie wróci, mała wartość SEO | Przekierowanie 301 na kategorię | Częściowe przeniesienie mocy SEO |
| Produkt nie wróci, duża wartość SEO (linki, ruch) | Przekierowanie 301 na podobny produkt | Maksymalne zachowanie wartości |
| Produkt niedostępny bezterminowo, chcesz zachować UX | Noindex + usunięcie z sitemapy | Strona nie wpływa na ocenę domeny |
| Usunięcie z przyczyn prawnych/wymuszonych | Kod 410 (Gone) zamiast 404 | Jednoznaczny sygnał dla Google |
FAQ – najczęściej zadawane pytania
Czy crawl budget dotyczy małych stron firmowych?
W praktyce nie. Crawl budget staje się realnym czynnikiem dopiero przy serwisach liczących tysiące adresów URL – typowo średnie i duże sklepy internetowe, portale z dużą liczbą podstron filtrowanych czy duże serwisy treściowe. Mała strona wizytówkowa z kilkudziesięcioma podstronami zazwyczaj nie ma z tym żadnego problemu.
Jak długo trwa, zanim Google zaindeksuje nową stronę po naprawieniu problemów technicznych?
Nie ma jednej odpowiedzi – zależy od autorytetu domeny, częstotliwości skanowania i jakości technicznej całej witryny. Może to być od kilku dni do kilku tygodni. Funkcja „Sprawdź URL” w GSC z opcją ponownego zgłoszenia do indeksowania może przyspieszyć proces dla pojedynczych, priorytetowych podstron.
Czy warto ustawiać przekierowania 301 dla każdego usuniętego produktu?
Nie zawsze jest to konieczne dla produktów bez żadnej historii ruchu czy linków. Ale dla produktów, które miały realną widoczność w wynikach wyszukiwania lub backlinki – zdecydowanie tak. Brak przekierowania w takim przypadku to bezpowrotna strata wypracowanej wartości SEO.
Jak długo powinno działać przekierowanie 301 dla niedostępnego produktu?
Przekierowania stałe (301) warto pozostawić aktywne przez co najmniej rok, dając wyszukiwarkom wystarczająco dużo czasu na przypisanie całego autorytetu nowemu adresowi. W praktyce wielu sklepom rekomenduję pozostawienie przekierowań bezterminowo, chyba że adres URL zostanie ponownie wykorzystany dla innego produktu.
Czy błędy 404 trzeba naprawiać natychmiast, czy mogą poczekać?
Zależy od skali i wartości straconych podstron. Pojedyncze błędy 404 na nieistotnych adresach mogą poczekać do najbliższego cyklicznego audytu. Błędy 404 na adresach, które miały wysoką pozycję, ruch organiczny lub wartościowe linki przychodzące – te warto naprawić jak najszybciej, bo każdy dzień to potencjalnie tracony ruch i malejąca szansa na pełne odzyskanie pozycji po przekierowaniu.
Sprawdzasz, ile Twoich produktów jest realnie widocznych w Google?
Z ponad 20-letnim doświadczeniem w pozycjonowaniu wykonuję pełne audyty indeksacji, crawl budgetu i błędów technicznych – szczególnie dla sklepów internetowych z dużym katalogiem produktów. Pomogę Ci ustalić, które produkty tracą widoczność i jaką strategię zastosować dla tych niedostępnych.
→ www.natopie.pl – formularz kontaktowy
Grzegorz Ławniczek – pozycjonowanie stron i sklepów internetowych, Częstochowa.
natopie.pl | Grzegorz Ławniczek – SEO i pozycjonowanie stron z 20-letnim doświadczeniem