検索ロボット（クローラー）が来た日は？
Googleなどのクローラー系検索エンジンは、クローラー（やロボット）と呼ばれるプログラムを使って、毎日様々なホームページを巡回し、情報を収集していきます。
このクローラーが、いつ自分のホームページに訪れて情報を収集していったのか知りたくはありませんか？
今回は、それを知るお手軽な方法をご紹介致しましょう。
知ってどうするのか？
どうしましょう？
あまり意味のあることではないかも知れませんが、ちょっと気になりませんか？
クローラーは、全ウェブサイトを平等には扱っていません。更新頻度の高いサイトや人気のあるサイトには、より頻繁に訪れます。ですから、この訪問の間隔を知ると、検索サイトがどれくらい自分のサイトを重視してくれているのかが分かるかも知れません。
大して面倒ではありませんので、興味があれば試してみて下さい。
どんなクローラーに使えるのか？
対象は、GoogleやYahoo!などのように、ページのHTMLをまるごと取得して「キャッシュ」として残し、誰でもそのキャッシュが閲覧可能になっている検索サイトのクローラーのみです。
▲Googleの検索結果。キャッシュの方を閲覧するリンクがある。
なお、今回ご紹介する方法を使わずとも、ウェブサーバのアクセスログを閲覧できるなら、クローラーがどれくらい訪れているのかはすぐに分かります。
今回は、アクセスログを参照できない場合向けの方法をご紹介いたします。
それでは、その方法をご紹介致しましょう。
