クローラー

公開日:2013年9月7日
 最終更新日:2013年9月7日

クローラーとは、Googleなどのロボット型検索エンジンが、サイトのデータ収集のために使用しているソフトのことです。「スパイダー」や「ロボット」とも呼ばれます。

このソフトを利用し、集めた世界中のサイトデータを検索サービスとしてユーザーに提供しています。

クローラーは、サイトを巡回しながら、テキストのほかに画像データやプログラムファイルなど様々な種類のデータを収集します。この作業をクローリングと呼びます。

それぞれのサイトは、リンクによってつながっています。クローラーはこのリンクを辿りながらデータ収集を行っていきます。サイトに訪れる時間は決まっておらず、サイトの更新頻度が高くなると、クローラーが訪れる頻度も高くなります。

クローラーが収集したデータは、検索エンジンがインデックス(分析評価してデーターベース化)して、ユーザーに提供されます。

コメントを残す

サブコンテンツ

このページの先頭へ