Crawler

Поисковый робот(паук, краулер) часто называемый просто "бот" или "робот" это программа, систематически обходящаяWeb для сбора данных со страниц веб-сайтов. Обычно поисковые сервисы (напр. Google, Bing, и пр.) используют поисковых роботов для индексирования сайтов.