«Microsoft HDInsight. «Облачное» (и не только) будущее Hadoop»

1. HDInsight. Обзор, история, экосистема

• как облачный сервис на Windows Azure – Windows Azure HDInsight (для доступа нужен инвайт);
• как локальный кластер на Windows Server 2008/2012 – Microsoft HDInsight to Windows Server (CTP) (установка доступна через WebPI, в том числе и на desktop-версиях Windows).

2011

2012

• REST API для постановки заданий (Job), запросов статуса выполнения и снятия заданий;
• возможность прямого доступа к кластеру через браузер;
• C# SDK v1.0;
• PowerShell cmdlets.

• Pig версии 0.9.3: высокоуровневый язык обработки данных и фреймворк исполнения этих запросов;
• Hive 0.9.0: инфраструктура распределенного хранения данных, поддерживающая запросы к данным;
• Mahout 0.5: машинное обучение;
• HCatalog 0.4.0: управление метаданными;
• Sqoop 1.4.2: перемещение больших объемов данных между Hadoop и хранилищами структурированных данных;
• Pegasus 2: анализ графов;
• Flume: распределенный высокодоступный сервис сбора, агрегации и перемещения данных логов в HDFS.
• Business intelligence tools, в т.ч.
  
  • Hive ODBC Driver;
  • Hive Add-in for Excel (доступен для скачивания через HDInsight Dashboard).

• с Active Directory для управления безопасностью и контроля доступа;
• с System Center для целей управления кластером;
• с облачными сервисами хранения Azure Blob Storage и Amazon S3 как с источниками данных.

2. HDInsight. Практикум

Подготовка

WordCounter на JavaScript

// map() implementation
var map = function(key, value, context) {
    var words = value.split(/[^a-zA-Z]/);
    for (var i = 0; i < words.lenght; i++) {
        if (words[i] !== "" && words[i].lenght > 3) {
            context.write(words[i].toLowerCase(), 1);
        }
    }
};

// reduce() implementation
var reduce = function (key, values, context) {
    var sum = 0;
    while (values.hasNext()) {
        sum += parseInt(values.next());
    }
    context.write(key, sum);
}; 

#mkdir wordcount // создаем директорию wordcount

fs.put("wordcount") // копируем в созданную директорию файлы с локального диска
fs.put("wordcount")

#ls wordcount // запрашивает листинг директории с анализируемыми данными

fs.put() // копируем в HDFS файл wordCountJob.js

#cat wordCountJob.js // просматриваем wordCountob.js

pig.from("wordcount").mapReduce("wordCountJob.js", "word, count:long").orderBy("count DESC").take(49).to("output");

pig.from("s3n://HDinsightTest/MartinLutherKing").mapReduce("wordCountJob.js", "word, count:long").orderBy("count DESC").take(49).to("output"); 

[main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Success! (View Log) 

js> #ls output // получаем список файлов в выходной директории

-rw-r--r-- 1 hadoop supergroup 0 2012-12-12 08:47 /user/hadoop/output/_SUCCESS
drwxr-xr-x - hadoop supergroup 0 2012-12-12 08:47 /user/hadoop/output/_logs
-rw-r--r-- 1 hadoop supergroup 0 2012-12-12 08:47 /user/hadoop/output/part-r-00000

js> #cat output/part-r-00000 // просматриваем результат

js> file = fs.read("output")
js> data = parse(file.data, "word, count:long")
js> graph.bar(data) // строим график

3. А что дальше?

• выявления сложных зависимостей в социальных сетях;
• антифрод-системы (выявление мошеннических действий) в финансовом секторе;
• исследования генома;
• анализ логов, etc.

• решаемая задача сводится к задаче параллельной по данным
  (с появлением YARN выполнение данного условия не критично);
• входные данные не помещаются в оперативную память;
• входные данные являются полу- и/или неструктурированными;
• входные данные не являются потоковыми данными;
• результат не является realtime-sensitive.

Заключение

Источник вдохновения