Gary Illyes z Google powiedział w ostatnim podcaście "Search Off the Record", że Google może częściej skanować wybrane sekcje Twojej witryny, a także w inny sposób określać jakość niektórych sekcji.
Pojawiło się to w 9:09 minucie podcastu, ale Glenn Gabe bardzo dobrze podsumował to na Twitterze, na którym napisał: "Google może ogólnie wywnioskować z całej witryny, które obszary mogą potrzebować częstszego skanowania. Np. jeśli istnieje podkatalog blog i istnieją sygnały, że jest popularny/ważny, to Google może chcieć skanować go częściej". "I nie chodzi tylko o częstotliwość aktualizacji, ale także o jakość. Np. jeśli Google widzi, że pewien wzorzec jest popularny (katalog), a ludzie o nim mówią i linkują do niego, to jest to sygnał, że ludzie lubią ten katalog" – dodał.
Oto wspomniane podcast:
Oto transkrypcja tej sekcji na temat częstotliwości skanowania według sekcji witryny:
Yeah. Because like we said, we don't have infinite space, so we want to index stuff that we think-- well, not we-- but our algorithms determine that it might be searched for at some point, and if we don't have signals, for example, yet, about a certain site or a certain URL or whatever, then how would we know that we need to crawl that for indexing?
And some things you can infer from-- for example, if you launch a new blog on your main site, for example, and you have a new /blog subdirectory, for example, then we can sort of infer, based on the whole site, whether we want to crawl a lot from that /blog or not.
Oto sekcja dotycząca jakości:
But it's not just update frequency. It's also the quality signals that the main site has.
So, for example, if we see that a certain pattern is very popular on the internet, like a slash product is very popular on the internet, and people on Reddit are talking about it, other sites are linking to URLs in that pattern, then it's a signal for us that people like the site in general.
While if you have something that people are not linking to, and then you are trying to launch a new directory, it's like, well, people don't like the site, then why would we crawl this new directory that you just launched?
