ホームページ作成/SEO・アクセス数アップ

Robots.txtで秘密がバレる!?(2ページ目)

サーチエンジンのロボット向けに用意する robots.txt が原因で、秘密のページの存在がバレてしまう可能性があることに気付いていますか? バレる原因と、バレないようにする対策のご紹介です。

西村 文宏

執筆者:西村 文宏

ホームページ作成ガイド

秘密のページを見られないようにするには?

検索の対象にして欲しくないなら、robots.txt を置かないわけにはいきませんね。
では、robots.txt をブラウザで見られても、秘密のページを見られないように工夫しましょう。

認証を使う

……これができるなら、そもそも robots.txt を用意する必要はないわけですが。
認証をかけることができるなら、かけておきましょう。何としても(不特定多数に)閲覧させたくない場合は、認証をかけるしかありません。
なお、基本認証をかける方法は過去の記事「基本認証でアクセス制限」でご紹介しています。

ダミーのindex.htmlを置く

ディレクトリ名が指定された際に表示されるファイルが index.html なら、 本来のトップページは別のファイル名にしておいて、ダミーの index.html ファイルを置いておきましょう。 そうすれば、少なくとも robots.txt を見ただけでは秘密のページにはアクセスできません。

.htaccessファイルを使う

画像の倉庫にしているなど、特にトップページのようなものが存在しない場合は、 ディレクトリ内の一覧が表示されてしまいますね。 ※サーバがApacheだった場合
.htaccessファイルを使って、ファイル中に

Options -Indexes

と記述しておけば、ディレクトリ内のファイル一覧が表示されるのを防げます。 ブラウザには、403 Forbidden のエラーメッセージが表示されます。

なお、「.htaccess」ファイルの作り方に関しては、記事「.htaccessファイルの作り方と設置方法」をご参照下さい。

間にクッションを置く

例えば、次のようなディレクトリ構造だったとします。

ここで、private と work の2つのディレクトリを秘密にしておきたいとすると、robots.txt には、次のように記述することになります。

User-Agent: *
Disallow: /private/
Disallow: /work/

これだと、private や work ディレクトリが存在することが分かってしまいますね。
そこで、ディレクトリ構造を、次のように変えます。

これなら、secrets ディレクトリだけを隠せば良いので、robots.txt は、次のようになります。

User-Agent: *
Disallow: /secrets/

secrets ディレクトリには、ダミーの index.html ファイルを置いておくなどして、ディレクトリの中身が見えないようにしておきましょう。

これなら、隠しているディレクトリ名が分からないので、robots.txt を見られても隠しているディレクトリへはアクセスしようがありません。

おわりに

サーチエンジンのロボット(クローラー)は、必ずしも robots.txt の指示に従ってくれるとは限りません。 robots.txt を読んで指示に従うことは、「強制」ではなく「お願い」程度のものです。ですから、本当に隠したいページは、認証を使うしかないことを覚えておきましょう。

今回は、少なくとも robots.txt から、隠しておきたいディレクトリの存在がバレてしまうのを防ぐ方法をご紹介致しました。
robots.txt を使っている方々は、再度確認してみて下さい。

【関連記事】

【編集部おすすめの購入サイト】
Amazonでホームページ作成の参考書をチェック!楽天市場でホームページ作成関連の書籍をチェック!
  • 前のページへ
  • 1
  • 2
※記事内容は執筆時点のものです。最新の内容をご確認ください。
※OSやアプリ、ソフトのバージョンによっては画面表示、操作方法が異なる可能性があります。

あわせて読みたい

あなたにオススメ

    表示について

    カテゴリー一覧

    All Aboutサービス・メディア

    All About公式SNS
    日々の生活や仕事を楽しむための情報を毎日お届けします。
    公式SNS一覧
    © All About, Inc. All rights reserved. 掲載の記事・写真・イラストなど、すべてのコンテンツの無断複写・転載・公衆送信等を禁じます