Краулеры современных веб-приложений и проект «Роботестер». Кацев Илья

Кацев Илья рассказывает о технических задачах, которые необходимо решить для построения такого краулера и об экспериментальном проекте под названием «Роботестер», который разрабатывается Яндексом.

1. Вступление
2. Идеальное будущее
3. Краулеры
4. Deep Web
5. Очень сложные формы
6. Crawljax
7. Используем текст
8. Веб для незрячих
9. Признаки
10. Стратегии краулинга
11. AutoBlackTest
12. Ходим на один шаг
13. Общие принципы
14. Анализ страницы
15. WebDriver
16. Город
17. E-mail
18. Анализ страницы
19. Покрывающие наборы
20. Реализация
21. Пример
22. Запрещенные слова
23. Проверки
24. Как пользоваться
25. Добавили поле
26. И наконец
27. Менеджерское
28. Будущее: обучение
29. Еще