Un file robots.txt è una parte importante dell’ottimizzazione dei motori di ricerca del tuo sito web. In questo articolo spieghiamo come aggiungere un file robots.txt e quale funzione ha.
Conoscenza di base
I motori di ricerca hanno due compiti sul web: cercare contenuti sul web e indicizzarli in modo che altri utenti possano trovarli in modo ordinato. Quando si arriva su un sito web, la prima cosa che il crawler di un motore di ricerca (come un bot di Google o Bing) cerca solitamente è un file robots.txt. Se ne trova uno, legge il contenuto prima di recuperare altre pagine.
Esistono molti buoni motivi per cui dovresti utilizzare un file robots.txt. Ad esempio, puoi specificare qui cosa indicizzano i crawler o quali contenuti potresti voler nascondere. Consigliamo inoltre di memorizzare sitemap.xml nel file robots.txt. In questo modo puoi essere sicuro che un crawler lo richiamerà e che la tua pagina verrà indicizzata correttamente. Nella mappa del sito determini quali pagine sono indicizzate e quali no.
Per ulteriori informazioni sulla mappa del sito, abbiamo un articolo separato per te.
È importante ricordare che il file robots.txt è solo di aiuto per i crawler. Non è garantito che i siti web non vengano sottoposti a scansione o viceversa. Google e Bing, ad esempio, dichiarano entrambi di rispettare il file robots.txt, ma non sono obbligati a farlo e abbiamo visto casi in cui i bot hanno ignorato le richieste. Su internet troverai molte istruzioni su come creare un robots.txt con le relative istruzioni. Ogni motore di ricerca ha i propri articoli di aiuto nel proprio database, come ad esempio Google (link esterno). Ci sono anche generatori che fanno il lavoro per te. Ulteriori informazioni su possibili specifiche e normative sono state definite nel Robots Exclusion Standard Protocol (link esterno).
Puoi testare il tuo file robots.txt sotto questo link (link esterno).
Aggiungi un file robots.txt al tuo progetto
Affinché i motori di ricerca trovino il file, questo deve trovarsi nella directory principale del dominio.
Se il file è nascosto da qualche altra parte, i crawler presumono che non ce ne sia. Possiamo raggiungere questo obiettivo con un semplice trucco.
1. Carica il tuo robots.txt nel media manager del tuo sito web.
2. Dal File Manager, aprire il file in una nuova scheda del browser. In questo modo, conoscerai l’URL di cui hai bisogno. Puoi anche fare clic su “Ottieni collegamento”. In questo modo, il collegamento viene copiato direttamente negli appunti.
3. Dalla nuova scheda del browser, copia l’intero URL.
4. Torna alla scheda Editor del sito web e fai clic sul menu hamburger nell’angolo in alto a sinistra.
5. Fare clic sulla voce di menu “Reindirizzamenti”.
6. Fai clic su “+ Aggiungi regola”
7. Selezionare “301” o “302” nel campo “Tipo” di reindirizzamento. Consigliamo un 301. Incolla l’URL copiato come descritto.
Il tuo file Robots.txt può ora essere trovato dai motori di ricerca nella posizione prevista.
