クローキングというスパム行為は、周到な準備として、まず二つのwebサイトを用意します。一つ目は、来訪者に見てもらうためのwebサイト、二つ目は検索サイトのロボット(クローラー)を騙すためのwebサイトです。検索サイトのクローラーも、来訪者が使っているInternet ExplorerやFirefoxなど各種ブラウザも、User-Agent(ブラウザ名)やリファラ(直前に閲覧していたページ)、IPアドレスなどを送信しています。こういった情報を利用して検索サイトのクローラーか来訪者かを判別し、サーバが接続するwebサイトを自動的に振り分けるのです。来訪者に見てもらうためのwebサイトは、Flashや画像をふんだんに用いて、SEO効果を上げるよりも、問い合わせや注文が増えるようなwebサイトにしておきます。対して、検索サイトのクローラーを騙すためだけのwebサイトは、テキスト中心でキーワードもたくさん挿入し、クローラーだけに見てもらえばよいといったつくりをしたwebサイトを読み込ませて、検索順位を高くするといった狙いがあります。けんっさくサイト側もクローキングは特に悪質と考えているので、こういった手段を使ったwebサイトに対しては検索結果の順位を大幅にダウンさせたり、ドメインごとインデックスから削除するなどきびしいペナルティを与えています。
SEOを中心に、サイト運営や検索エンジン、Webマーケティング、Webデザインなどウェブにまつわる有益な情報を発信しています。
関連記事を読む
アルゴリズムを理解するために
ネットが生まれたころの話
Googleの検索エンジン