[Web]Googleとかのインデックス拒否はrobots.txtじゃなくてX-Robots-Tagを使う

超まとめ

検索エンジンにインデックスされないようにする(拒否する)には、 X-Robots-Tag HTTPヘッダで”none”または”noindex,nofollow,none”を送出するようにします。

コンテンツ内にrobotsメタタグを追加するのでもOK。その場合はこんな感じ。

<meta name="robots" content="noindex" />

ただしこの方法は、レスポンスがHTMLのコンテンツの場合にのみ使えます。

サーバー丸ごととかディレクトリ丸ごと設定するならHTTPヘッダ、個別のHTMLコンテンツに設定するならメタタグという使い分けになるでしょう。

Googleのドキュメントにて、robots.txtは「Google 検索結果でウェブページを非表示にすることを目的に robots.txt を使用しないでください。」と書かれていますので、robots.txtじゃないです。