ロボットテキストの設置…

　仕事仲間に教えてもらい、サイト内に robot.txt を置いてみることにしました。

robot.txt とは、自分のサイトを検索エンジンにクロールしてもらう際に、クロールさせたいところとさせたくないところを指示するためのものです。

検索ロボは、サイト内に robot.txt を見つけると、その指示に従ってクロールして行くらしいのです。

見てもらう必要のないファイル…例えばスクリプトのみを記述しているPHPファイルや、外部CSSファイル、外部Javascriptファイルなど…これらはそれぞれフォルダに格納しておき、そのフォルダをクロールさせなければ良いのです。

　どのファイルやどのフォルダを参照させないようにするか…しばし悩みながらも、何とか robot.txt を設置できましたよ。

これですぐに検索エンジンにヒットするようになる…わけではないのでしょうが、楽しみです。

※この記事は過去のサイトから移行したものであり、
現在の内容とは異なっている場合がありますことをご了承下さいませ。