Webマーケッターのもりぞーです。今回は「robot.txtが更新されない!?」という問題に対する原因と対処方法をご紹介したいと思います。
Search Consoleを使用していれば簡単に出来るので、この問題に悩んでるかたはぜひやり方を覚えてくださいね!
robot.txtが反映されない原因
robot.txtがなかなか反映されない時に考えられる原因は二つあります。
- クローラーが来ていない
- robot.txtのファイルが複数ある(昔に作成したものがルート直下に残っている)
これらの原因の解決方法についてそれぞれ考えていきましょう。
robot.txtを反映させる対処方法
1:クローラーを呼ぶ
クローラーが来ていない場合は、クローラーを待つしかありません。しかし、Googleのクローラーにこちらからrobot.txtの更新をする方法があります。やり方は次の項目で詳しく説明します。
2:robot.txtのファイルを削除する
これはたまに起こる原因ですが、robot.txtファイルがルート直下に複数あるので、不必要なファイルは削除しましょう。
ルート直下のrobot.txtのファイルは必ず1つだけです。
robot.txtの変更をGoogleに伝える方法
Search Consoleを使用する
Search Consoleのページから、「robotテスター」という項目をクリックしましょう。
そうすると、下記のようなrobot.txtテスターというページが表示されます。このページが、現在の最新バージョンのrobot.txtが表示されています。
「最新バージョン」という字の横の日数が、robot.txtが更新された日時となります。
robot.txtテスターの「送信」ボタンを押すと下記のようなページが表示されます。
1の「更新されたデータをダウンロード」を押すと、最新のrobot.txtがtxtファイルでダウンロードできます。
2の「アップロードされたバージョンを確認」を押すと、現在ルート直下にあるrobot.txtを確認することができます。
3の「Googleに更新をリクエスト」を押すと,robot.txtを更新したことをGoogleに知らせることができます。Googleのクローラーはだいたい1日後には来てくれるはずです。
まとめ
robot.txtが更新できなっくて困っているときは、今回説明した二つの原因と解決方法を試してみて下さい。
この方法だと、robot.txtが正しく更新されるようになります。
コメント