クロールとは

クロール

クロールとは、ソフトウェア(クローラやロボット)が自動的にインターネットを巡回し、さまざまなウェブサイトからウェブページの内容を収集・保存していく処理を意味します。検索エンジン運営者は世界中の大量のウェブサイトを日々クロールしており、集めた情報を一定の手順に従って解析・加工し索引付けを行うことで一般の利用者が任意の単語やフレーズで全文検索できるようにしています。クロールして得た情報をもとに、ホームページ自体がどのようなテーマに沿って構成されているか、ユーザーにとって有益なページであるかなどのアルゴリズムによって検索結果に表示されるキーワードや検索順位が決定されます。

クロール