『robots.txt』とは

SEO・アクセス解析ツールは『ToFUシステム』 > ToFUシステム用語辞典 > 基本情報 > robots.txt

robots.txt

robots.txtは、サイト内での検索エンジンの振る舞いを制限することができます。

検索エンジンにクロールして欲しくないウェブページ、クロール間隔、sitemap.xmlの場所を指定などをすることでサイト内の検索エンジンを制御できます。