Google riconosce la direttiva crawl-delay?

Se state editando il file robots.txt del vostro sito, la direttiva crawl-delay potrebbe suscitare più di un dubbio, specialmente se rapportata a Google. In effetti, specificare nel suddetto file una cosa tipo:

crawl-delay: 10

significa imporre che il crawler debba aspettare 10 secondi tra una scansione (una crawl action, cioè un’azione di scansione che potrebbe anche riguardare una parte del sito) e la successiva. In alcuni casi, nel tool della Search Console dedicato all’analisi del robots.txt, potrebbe apparire una segnalazione di errore tipo:

crawl-delay ruled ignored

ovvero direttiva ignorata o non supportata da Google, nello specifico, per le ragioni seguenti.

Google tara la propria velocità di scansione in automatico al fine di non appensantire la velocità di caricamento del vostro sito, per cui non è affatto necessario specificare questa direttiva (che invece potrebbe essere utile per altri motori di ricerca). Se un criterio di schedulazione statica del crawler – statica nel senso di basata su un intervallo predefinito di secondi – poteva essere valido fino a qualche anno fa, infatti, sappiamo che i server moderni sono perfettamente in grado di gestire richieste multiple contemporaneamente ad altissima velocità, per cui un limite del genere per Google non ha alcun senso. Si può pensare quindi di rimuovere completamente la direttiva dal file robots.txt del proprio sito, limitandosi a farne uso per impedire al crawler di effettuare scansioni di specifiche, eventuali sottodirectory del proprio sito.

La spiegazione ufficiale è nel video successivo, direttamente da John Mueller di Google.

Leggi anche
Come togliere una penalizzazione di Google ad un s... La rimozione delle penalizzazioni di Google è forse uno degli aspetti che preoccupano maggiormente i webmaster, specialmente quelli meno orientati all...
Addon di Firefox utili in ambito SEO Se utilizzate abitualmente Firefox questi addon potranno essere utili per il vostro lavoro di SEO. Vediamo di che si tratta: ovviamente si tratta di t...
Guida rapida ai più comuni indici di prestazioni S... PA (Page Authority) La PA è uno dei parametri più valutati in ambito SEO, soprattutto quando si tratta di valutare il potenziale di un backlink dalla...
Ma alla fine… cos’è la SEO? In genere le attività SEO (Search Engine Optimization) riguardano il miglioramento del posizionamento di un sito web all'interno dei risultati di rice...
SEO per siti di giochi, come farla I portali di giochi sono molto interessati ad attività SEO, e in diversi casi mi è capitato di farci consulenza in ambito di ottimizzazione sui motori...
Correlazione non implica causalità, cosa vuol dire... La correlazione è un concetto statistico che viene molto spesso frainteso e mal interpretato, sia sui giornali che (per dire) nel settore SEO; questo ...