Creare il file robots.txt può facilitare i motori di ricerca nell’indicizzazione del sito. Per chi non sa cosa sia esso è semplicemente una traccia, delle istruzioni che i motori di ricerca seguono durante la spiderizzazione (vedi Spiderizzare ossia l’atto dello spider di google o di altri motori, di passare sulle pagine e indicizzarle nei registri) […]