Page 114 - 4144

113

яку агенти індексують, вони передають її назад до бази даних пошукового
механізму.
Павуки здійснюють загальний пошук інформації в Інтернет. Павуки
повідомляють про зміст знайденого документа, індексують його і
добувають підсумкову інформацію. Вони також переглядають заголовки,
деякі посилання і відправляють проіндексовану інформацію до бази даних
пошукового механізму.
Кроулери переглядають заголовки і повертають тільки перше
посилання.
Роботи можуть бути запрограмовані таким чином, щоб переходити
по різним посиланням різної глибини вкладеності, виконувати індексацію і
перевіряти посилання в документі. Але, вони можуть застрягати в циклах,
адже, проходячи за посиланнями, їм потрібні значні ресурси мережі.
Існують методи, що забороняють роботам пошук по сайтах, власники яких

не бажають, щоби вони були проіндексовані.
Агенти збирають та індексують різні види інформації. Деякі,
наприклад, індексують кожне окреме слово у документі, в той час як інші
індексують тільки 100 найбільш важливих слів в кожному документі,
індексують розмір документу і кількість слів в ньому, назву, заголовки і
підзаголовки і так далі. Вигляд побудованого індексу визначає, який
пошук може бути проведений пошуковим механізмом і як отримана
інформація буде інтерпретована.
Агенти знаходять інформацію, після чого її розміщують в базі даних
пошукового механізму. Адміністратори пошукових систем визначають, які
сайти або типи сайтів агенти мають відвідати та проіндексувати.
Проіндексована інформація відправляється до бази даних пошукового
механізму.
Користувачі можуть розміщувати інформацію прямо в індексі,
заповнюючи особливу форму для того розділу, в який вони хотіли б
помістити свою інформацію. Ці дані передаються базі даних.
Коли користувач хоче знайти інформацію, доступну в Інтернет, він
відвідує сторінку пошукової системи і заповнює форму, що деталізує
потрібну йому інформацію. Тут можуть використовуватись ключові слова,
дати та інші критерії. Критерії в формі пошуку повинні відповідати
критеріям, які використовуються агентами при індексації інформації, яку
вони знайшли при переміщені по мережі.
База даних відшукує предмет запиту, що базується на інформації, яка
вказана в заповненій формі, і виводить відповідні документи, що
підготовані базою даних. Для того, щоб визначити порядок, в якому
перелік документів буде показано, база даних застосовує алгоритм
ранжування. В ідеальному випадку, розташованими першими в списку
будуть документи, що є найбільш релевантними до запиту користувача.