◇検索避けの方法◇


検索エンジンには大雑把に分けてロボット型とディクトリ型の2つがあります。
(代表的なのがgoogleやYahooです)
ロボット型はWebクローラーというプログラムを使ってWeb上にあるデータを
自動取得していくタイプのものです。
ディレクトリ型は申請する側が特定のカテゴリーのディレクトリに登録するタイプです。

ロボット型は大体htmlファイル内のタグの中にある情報を参照して情報を取得していきます。

検索避けには2つの方法があります。

●その1

headと/headの間に次のように記述することによって、ロボット型検索エンジンのクロールを避けることができます。

meta name="Robots" content="NoIndex"
または
meta http-equiv="Robots" content="NoIndex"
(<>で囲ってください)

ちなみに、content="※"の部分を以下に変える事で属性値を変更する事もできます。
属性値 意味
・Index サーチエンジンへの登録を許可
・NoIndex サーチエンジンへの登録を不許可
・Follow そのHTML文書からリンクされているURLを見に行くことを許可
・NoFollow そのHTML文書からリンクされているURLを見に行くことを不許可
・All    Index/Followと同じ意味
・None  NoIndex/NoFollowと同じ意味

メタタグ内にロボットを寄せつけない属性値を記述すれば避けれます。

cgiファイルの場合はファイル内にhtmlの記述があるのでそちらに書き込んでください。
(プログラムによって書いてある場所が変わるので探してください)

●その2

テキストエディタでrobots.txtというファイル名でhtmlファイルのルート
フォルダ(index.htmlのあるフォルダ)と同階層にアップロードします。

【例1】Webサイト自体全てを検索エンジンから守る場合

----- robots01.txt start -----
User-Agent:* ←検索ロボットの名前の指定します。「*」としておけば
全ての検索ロボットを指定したことになります。
Disallow: / ←Webサーバーのルートディレクトリ以下の全てのファイル
を検索されないように禁止しました。
 ←最後の行は改行をしておいた方がうまくいく場合が多いです。
----- robots01.txt end -----

【例2】指定したディレクトリを検索エンジンから守る場合

----- robots02.txt start -----
User-Agent:* ←どんなブラウザも許可する
Disallow: /cgi-bin/ ←cgi-binディレクトリは登録不許可と指定します。
Disallow: /files/ ←filesディレクトリは登録不許可と指定します。
 ←最後の行は改行をしておいた方がうまくいく場合が多いです。
----- robots02.txt end -----

【例3】ホームディレクトリに置かれたgifファイルをGooglebotから守る場合

----- robots03.txt start -----
User-Agent: Googlebot ←Googlebot(GoogleのWebクローラ)と指定しています。
Disallow: /*.gif$ ←ホームディレクトリに置かれたgifファイルを指定しています。
 ←最後の行は改行をしておいた方がうまくいく場合が多いです。
----- robots03.txt end -----

どちらの方法でも検索避けは可能ですがまれにひっかかってしまう事もあります。
大きな検索エンジンなら回避できますが個人的に運営されているところなどは避けれない場合があります。
また、インフォシークの解析を入れられてる場合検索避けが働かない時があります。

すでに検索エンジンに登録されてしまった場合にはこちらで削除できます(googleのみ)
ここにも検索避けについて書かれていますのでお読みになる事をお薦めします。
注意事項をよく読んでからお使い下さい。

検索避けをしたからといって絶対に安全とは限りません。
自サイトは自分の手で守ってください。



ウィンドウを閉じてお戻り下さい