WordPressでrobots.txtを設定する

robots.txtは、特定のファイルやディレクトリをアクセスされないようにブロックする目的で使われます。特にクローラーに対して価値のないURLをクロールさせないことは、SEOにも有利に働きます。そのrobots.txtをWordPressサイトで利用する方法を解説します。

【コンテンツ】

  1. WordPressでのrobots.txt自動生成
  2. robots.txtを自分で作成する
  3. ウェブマスターツールでの動作確認

【記事執筆時の環境】
WordPress 3.9.1

WordPressでのrobots.txt自動生成

WordPressではファイルとしてrobots.txtをあらかじめ作成しているわけではなく、アクセスがあったときに動的に生成します。

したがって、WordPressをインストールしたディレクトリのどこを探してもrobots.txtは見つかりませんが、ブラウザのアドレスバーに「http://ドメイン/robots.txt」と入力すると、以下のように表示されます。

robots.txtをブラウザでアクセスした画面

上記はWordPressの設定がデフォルトでの表示ですが、インストールしているプラグインによっては内容が変わることがあります。

また管理画面メニューの[設定]-[表示設定]で、
[検索エンジンがサイトをインデックスしないようにする]にチェックが入っていると、以下の表示になります。

これはサイト全体がアクセス禁止になっていることを示します。

【注意!】

  • パーマリンク設定がデフォルトのままだとrobots.txtは生成されず、アクセスした時に404エラーとなります。
  • WordPressをドメインのルートディレクトリでなくサブディレクトリにインストールしている場合も、robots.txtにはアクセスできません。もともとrobots.txtはルートドメインに置かなければ無効です。

robots.txtを自分で作成する

「robots.txt」という名前のテキストファイルを作成し、ルートドメインにアップロードします。
アップロードしたrobots.txtが優先されます。

基本的な記述方法としては、「User-agent」と「Disallow or Allow」をセットで指定します。
また「Sitemap」でサイトマップを指定することもできます。

例えばWordPressのデフォルト設定に加え、Google画像検索をすべてブロックしサイトマップを指定したい場合は、以下のように記述します。

ウェブマスターツールでの動作確認

robots.txtは、思い通りの動作になっているかウェブマスターツールで確認することができます。

該当するWebサイトのダッシュボードから、[クロール]-[ブロックされたURL]を選択します。

robots.txtの内容とテストするURLを入力し、User-agentsを指定して[テスト]ボタンをクリックします。

robots.txtテスト画面

画面の下にテスト結果が表示されますので確認します。
この例では「User-agent: Googlebot-Image」でURLがブロックされ、有効なサイトマップが検出されましたので、正しく動作していると確認できました。

テスト結果画面

スポンサーリンク

特集記事

  • WordPress Image

    WordPress の基礎から応用まで
    Webサイト制作ツールとして圧倒的な人気を誇るWordPress。利用するにあたって必要な知識を体系的にまとめた記事です。
  • jQuery Mobile Image

    jQuery Mobile を基本から覚える
    スマホサイト制作に最適なフレームワークの利用方法を解説。DEMOページ・サンプルコードで動作を確認できます。

オンライン講座

Webの基礎マスター講座ページへのリンク


連載講座:WordPressで作る簡単Webサイトページへのリンク

提供しているサービス

WordPressサイト制作出張講座ページへのリンク

WordPress を利用した Webサイト制作の方法を、
あなたのオフィスにうかがいご説明いたします。
料金:¥49,500

サービス詳細ページ >>

申し込みフォーム >>


Webサイト1日公開サービスページへのリンク

一刻も早く Webサイトが必要な方のために、
一緒に作業し1日で公開までもっていきます。
料金:¥49,500

サービス詳細ページ >>

申し込みフォーム >>

スポンサーリンク

ページの先頭へ