Современные методы и средства построения систем информационного поиска. Лекция 10. Особенности веб-поиска. Спайдер. Романенко Алексей

Романенко Алексей детально рассказывает о веб-поиске и говорит о спайдер.

1. Популярность пользования поиска
2. Веб без поисковых систем
3. Немного истории
4. Основы веб-поиска
5. Потребности пользователей
6. Как далеко заходят пользователи
7. Эмпирическая оценка пользователем результатов
8. Эмпирическая оценка пользователем ПС
9. Коллекция веб-документов
10. Какого размера веб
11. Первое поколение поисковой рекламы: Goto (1996)
12. Как ранжируется реклама
13. Seach ads: есть и минусы
14. Спайдер
15. Основные задачи спайдера
16. Спайдер, вид сверху
17. Все ли так просто?
18. Что любой спайдер должен делать?
19. Явные и неявные правила вежливости
20. Robot.txt
21. Robot.txt пример
22. Выполнение шагов при выкачки
23. Основная архитектура спайдера
24. DNS
25. Парсинг
26. Фильтры и Robot.txt
27. Распределенный спайдер
28. URL frontier: два основных соглашения
29. URL frontier: схема Mercator
30. Front queues
31. Back queue heap
32. Freshness
33. Freshness vs. Age
34. Deep Web
35. Sitemaps, пример
36. Хранение документов
37. Удаление шума
38. Поиск блока с контентом