Exactement.
Le robots.txt est un fichier au format texte, qui est placé à la racine du site. Ce fichier permet d’indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs Web.
En d’autres mots, ça permet d’interdire Google d’indexer certaines pages!
Voici des exemples de fichier robots.txt :
Toutes les pages sont indexables
User-Agent: *
Disallow:
Aucune page du site n’est indexé :
User-Agent: *
Disallow: /
Exclusion d’un robot (ex : robot de Google = googlebot):
User-Agent: googlebot
Disallow: /
User-Agent: *
Disallow:
Interdiction d’indexation de tout le contenu d’un répertoire (et ses sous-dossiers bien-sur) :
User-Agent: *
Disallow: /repertoire/
Google propose une documentation sur le sujet : https://support.google.com/webmasters/answer/70897?visit_id=1-636415198946330966-1200142445&rd=1&hl=fr