WordPressでrobots.txtを設定する

robots.txtは、特定のファイルやディレクトリをアクセスされないようにブロックする目的で使われます。特にクローラーに対して価値のないURLをクロールさせないことは、SEOにも有利に働きます。そのrobots.txtをWordPressサイトで利用する方法を解説します。

【コンテンツ】

  1. WordPressでのrobots.txt自動生成
  2. robots.txtを自分で作成する
  3. ウェブマスターツールでの動作確認

【記事執筆時の環境】
WordPress 3.9.1

WordPressでのrobots.txt自動生成

WordPressではファイルとしてrobots.txtをあらかじめ作成しているわけではなく、アクセスがあったときに動的に生成します。

したがって、WordPressをインストールしたディレクトリのどこを探してもrobots.txtは見つかりませんが、ブラウザのアドレスバーに「http://ドメイン/robots.txt」と入力すると、以下のように表示されます。

robots.txtをブラウザでアクセスした画面

上記はWordPressの設定がデフォルトでの表示ですが、インストールしているプラグインによっては内容が変わることがあります。

また管理画面メニューの[設定]-[表示設定]で、
[検索エンジンがサイトをインデックスしないようにする]にチェックが入っていると、以下の表示になります。

これはサイト全体がアクセス禁止になっていることを示します。

【注意!】

  • パーマリンク設定がデフォルトのままだとrobots.txtは生成されず、アクセスした時に404エラーとなります。
  • WordPressをドメインのルートディレクトリでなくサブディレクトリにインストールしている場合も、robots.txtにはアクセスできません。もともとrobots.txtはルートドメインに置かなければ無効です。

robots.txtを自分で作成する

「robots.txt」という名前のテキストファイルを作成し、ルートドメインにアップロードします。
アップロードしたrobots.txtが優先されます。

基本的な記述方法としては、「User-agent」と「Disallow or Allow」をセットで指定します。
また「Sitemap」でサイトマップを指定することもできます。

例えばWordPressのデフォルト設定に加え、Google画像検索をすべてブロックしサイトマップを指定したい場合は、以下のように記述します。

ウェブマスターツールでの動作確認

robots.txtは、思い通りの動作になっているかウェブマスターツールで確認することができます。

該当するWebサイトのダッシュボードから、[クロール]-[ブロックされたURL]を選択します。

robots.txtの内容とテストするURLを入力し、User-agentsを指定して[テスト]ボタンをクリックします。

robots.txtテスト画面

画面の下にテスト結果が表示されますので確認します。
この例では「User-agent: Googlebot-Image」でURLがブロックされ、有効なサイトマップが検出されましたので、正しく動作していると確認できました。

テスト結果画面

スポンサーリンク

特集記事

  • jQuery Mobile Image

    jQuery Mobile を基本から覚える
    スマホサイト制作に最適なフレームワークの利用方法を解説。DEMOページ・サンプルコードで動作を確認できます。

スポンサーリンク

ページの先頭へ