検索エンジンにインデックスさせない方法

検索エンジンにインデックスさせたくないページをインデックスさせない方法をいくつかご紹介します。

METAのnoindexとnofollow

よく検索エンジンにインデックスされないようにということで、METAのrobotsにnoindex,nofollowを設定しているサイトがありますが、この方法は確実ではないということを知っておいてください。
noindex,nofollowが付いていても、例えば有益な情報を掲載しているなどの理由で外部から多くのリンクを集めているページはインデックスされることがあるのです。

robots.txtを利用する

検索エンジンにクロールに関する情報を渡すためのrobots.txtにdisallowとして指定することで、検索エンジンは該当ディレクトリに回ってこなくなります。
が、一部行儀の悪い検索エンジンがいたりして、robots.txtも確実とは言えません。
また、検索エンジン毎に、中身の記述それぞれに対するサポートの有無も異なりますので、過信しない方が良いでしょう。

クローラーからのアクセスを拒否する

UserAgentを見て、botやspider、crawlerなどが来ていたらエラーを返すようにしてしまうのが良いでしょう。
クローラーには別のページを出すような方法もありますが、SEOの観点から、多くの検索エンジンの禁止事項に該当するため、単にエラーを返してあげるだけにしておきましょう。

いろいろ書いてきましたが、検索エンジンにインデックスおよびキャッシュされたくないものは、そもそも公開しないのが一番です。
一般ユーザー向けでないページなどは、IP制限やベーシック認証をかけるなどして、そもそも普通に閲覧できないようにしておくべきです。