Posts by tag

Романенко Алексей

15 постов

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 5. MapReduce в Hadoop (алгоритмы). Романенко Алексей

Романенко Алексей рассказывает о WordCount и Кросс-корреляции. Говорит о реляционных паттернах MapReduce (Selection, Projection, Union, Intersection, Difference, Symmetric Difference, GroupBy и Aggregation, Repartition Join, Replicated Join, TF-IDF). WordCount Среднее значение Distinct…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 4. MapReduce в Hadoop (введение). Романенко Алексей

Романенко Алексей рассказывает о MapReduce в Hadoop. Рабочий процесс MapReduce Hadoop MapReduce и HDFS Выполнение MapReduce Архитектура и работа первой версии MapReduce Hadoop API (типы, классы) WordCount (Congigure Job, Mapper,…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 3. Распределенная файловая система HDFS. Романенко Алексей

Романенко Алексей рассказывает о распределенной файловой системе. Задачи, для которых подходит и не подходит HDFS Демоны HDFS Файлы и блоки Репликация блоков  Клиенты, Namenode и Datanodes Чтение и запись файла…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 2. Основы Hadoop. Романенко Алексей

Романенко Алексей рассказывает об основах Hadoop, истории и его применении. Говорит об экосистеме Hadoop. История Hadoop и его применение Хранение данных, кластер Hadoop Системные принципы Горизонтальное масштабирование вместо вертикального Код к…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция №1. Введение в Big Data и MapReduce. Романенко Алексей

Романенко Алексей рассказывает о том, что такое большие данные и об истории возникновения этого явления. Объясняет, что такое Hadoop, и где он применяется, что такое «облачные вычисления», история возникновения и…
Смотреть материал
Поделиться
Смотреть материал

Современные методы и средства построения систем информационного поиска. Лекция 10. Особенности веб-поиска. Спайдер. Романенко Алексей

Романенко Алексей детально рассказывает о веб-поиске и говорит о спайдер. Популярность пользования поиска Веб без поисковых систем Немного истории Основы веб-поиска Потребности пользователей Как далеко заходят пользователи Эмпирическая оценка пользователем…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 6. MapReduce в Hadoop, графы. Романенко Алексей

Романенко Алексей рассказывает о графах и MapReduce в Hadoop. Граф, как структура данных Задачи и проблемы на графах Графы и MapReduce Матрица смежности Списки смежности Поиск кратчайшего пути Алгоритм Дейкстры…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 7. Введение в Pig и Hive. Романенко Алексей

Романенко Алексей рассказывает о платформе для анализа больших коллекций данных, состоящей из языка высокого уровня и инфраструктуры для запуска программ и о Hive. Pig Pig & MapReduce Основные возможности Pig…
Смотреть материал
Поделиться
Смотреть материал

Методы распределенной обработки больших объемов данных в Hadoop. Лекция 8. NoSQL, Hbase, Cassandra. Романенко Алексей

Романенко Алексей рассказывает о базах для хранения больших объемов данных, какие подходы для этого используются и реализацию Hbase и Cassandra NoSQL Scaling up Scaling RDBMS – Master/Slave Что такое NoSQL…
Смотреть материал
Поделиться
Смотреть материал

Современные методы и средства построения систем информационного поиска. Лекция 10. Особенности веб-поиска. Спайдер. Романенко Алексей

Романенко Алексей рассказывает об особенностях веб-поиска. Популярность пользования поиска Веб без поисковых систем? Немного истории Основы веб-поиска Потребности пользователей Как далеко заходят пользователи? Эмпирическая оценка пользователем результатов Эмпирическая оценка пользователем…
Смотреть материал
Поделиться
Numeralis
Удивительный мир Digital маркетинга