検索ロボットのクロールを拒否するには

.htacceseに書き込んでブロックする方法など色々あるわけですが、今回はmetaに書き込むだけの簡単な方法を紹介。

最終的にはサーバー側で.htacceseに書き込むことでブロックした方が確実なわけですが、そこまでしなくてもいいよって人や一時的に検索エンジンに載せたくない場合は以下のリンク先のソースをみるといい。

• Google がサイト全体または一部をクロールしないように設定するには？
• A Standard for Robot Exclusion:/robots.txtについて[英文]
• The Robots META tag:metaタグについて[英文]