La carte Hadoop pour ne pas se perdre dans le bigdata

J'ai assisté à une réunion du HUG_France : Hadoop user group.  Un des conférenciers était Ted Dunning de la société MapR.

Pour clarifier les chose , j'ai fait cette carte d'Hadoop représentant les principaux composants.

L'état de l'art à ce jour:
Il est possible de stocker des gros volume de données structures ou non sur un système de fichier distribué.  Il est possible de réaliser des opérations BATCH distribuées de sélection et de réduction sur ces données.
L'enjeu actuel est la recherche et le la restitution en temps réel dans ces gros volumes (Big Data).
Un contournement peut etre fait par des exports de données d'Hadoop vers des modes de stockage et de restitutions plus rapides: exemple  mongodb.

Le défi des #bigdata n'est pas le volume mais le facteur humain

Dans un article en anglais disponible ici intitulé : big data : beaucoup de problème et peu de talent, l'auteur  (Benn Rooney)  met en avant le manque d'ingénieur formé à l'analyse de données de masse.
Un ingénieur bigData doit pouvoir transformer les données en information et les informations en action.
Il estime  à   1,5 millions le nombre d'ingénieur à former dans ce domaine rien que pour les USA.
Le profil recherché est  un ingénieur possédant plus un  bagage en  mathématiques qu'en  informatique