Le site Colbert 2.0

Le ministère du Redressement productif a mis en ligne sont outil Colbert 2.0 destiné à calculer les gains de relocalisation. Quel est l'architecture du site ?:

- Le moteur est en PHP sur un serveur Apache.
- Utilisation de jquery pour faciliter les échanges avec  l'utilisateur
- Utilisation du framework 'Bootstrap' pour la mise en page et le design.

Bootstrap est une collection de javascript , de feuille de style (CSS) qui permet de réaliser des sites web bénéficiant des dernières avancées ergonomiques. Bootstrap permet de gèrer des affichages sur mobiles ou tablette : (responsive design) , le projet est porté par les équipes de twitter. 

mongodb : premiers pas avec cette base nosql

Et une vidéo de plus consacrée à mongodb: Les premières manipulations

Le support est en ligne ici :

Mongodb101 support de la video pour débuter from eric german

La partie vidéo seule est ici:



Les sujets abordés sont les suivants:

j'evoque l'injection massive par la commande mongoimport
La syntaxe est la suivante:

./mongoimport --file ../../stations.json --collection stations --db velibdb --jsonArray

Le dernier paramètre (jsonArray) sert à indiquer que les documents JSON sont  les uns à la suite des autres dans un tableau.

J'utilise un fichier opendata sur l'état des stations  Velib issu du site: http://eaupen.madebymonsieur.com/velib

Le programme ruby  servant à mettre à jour  les informations des stations est donné ci-dessous:

	require 'mongo'
	include Mongo
	@mongo_client = MongoClient.new("localhost",27017)
	@db = @mongo_client.db('velibdb')
	@stations = @db["stations"]
	(75001..75020).each { |arrondissement|
	arr= arrondissement.to_s
	puts arr
	rech = @stations.find({:address => /#{Regexp.quote(arr)}/}).each { |p|
	id =p['_id']
	@stations.update({:_id => id}, {:$set => {:arrondissement => arrondissement}})
	}
	}
	rech = @stations.find({:arrondissement => nil}).each { |p|
	id =p['_id']
	@stations.update({:_id => id}, {:$set => {:arrondissement => 'banlieue'}})
	}

view raw velib1.rb hosted with ❤ by GitHub

Les prochaines vidéos porteront sur les recherches dans une base mongoDB.

Une première introduction à la base NOSQL mongodb

J'ai mis en ligne une nouvelle vidéo consacrée à  mongodb.
Le site de mongodb est ici.



 Le support complet slides et vidéo est sur le site de partage slideshare

Mongodb introduction from eric german


MongoDB et Haddop sont deux compagnons.  Hadoop permet de stocker des volumes importants  et mongoDG s'occupe de la restitutions d'extraction de données venant d'hadoop.
Dans le sens inverse, mongodb peut utiliser la puissance des JVM pilotée par Hadoop pour réaliser des traitements par lots (ex Map-reduce).

MongoDB est une base NOSQL  de type document un peu comme couchDB. Son langage de commande est le Javascript.  Le projet se compose d'une série de programme dont 'mongod' : le serveur de la base et 'mongo' : un client sous la forme d'une console shell.

J'ai mis ici un exemple de script de lancement du service mongod pour ubuntu
 

	#! /bin/sh
	CONF=/home/german/local/etc/conf/mongodb.conf
	do_start () {
	echo "Starting mongo with-> /usr/local/bin/mongod -config $CONF"
	echo "checking if mongo is running"
	PID=$(cat /home/german/labo/mongodb-linux-i686-2.2.2/data/db/mongod.lock)
	if [ ! -z "$PID" ];
	then
	echo "mongod is running, no need to start"
	exit
	fi
	echo " it isn't"
	mongod -config $CONF
	}
	do_stop () {
	echo "checking if mongo is running"
	PID=$(cat /home/german/labo/mongodb-linux-i686-2.2.2/data/db/mongod.lock)
	if [ -z "$PID" ];
	then
	echo "mongod isnt running, no need to stop"
	exit
	fi
	echo " it is"
	echo "Stopping mongo with-> /bin/kill -2 $PID"
	/bin/kill -2 $PID
	}
	case "$1" in
	start)
	do_start
	;;
	stop)
	do_stop
	;;
	*)
	echo "Usage: $0 start|stop" >&2
	exit 3
	;;
	esac

view raw mongodstartstop.sh hosted with ❤ by GitHub

Et ici le fichier de configuration:

	port=27017
	dbpath=/home/german/labo/mongodb-linux-i686-2.2.2/data/db
	logpath=/home/german/local/var/log/mongo.log
	rest=true
	fork=true
	journal=true

view raw mongodb.conf hosted with ❤ by GitHub

Bientôt des vidéos et des articles sur la base NoSQL MongoDB

Voila plusieurs semaines que je bricole avec MongoDB l'étoile montante des bases NoSQL  (Not Only  SQL).

 Après avoir essayé: CouchDB , Redis , Riak , étudié Cassandra et Hadoop (voir les posts ou les vidéos)

(source : http://germanlinux.blogspot.fr/2012/12/la-carte-hadoop-pour-ne-pas-se-perdre.html )

Posts :

• Hadoop , mongoDB : http://germanlinux.blogspot.fr/2012/12/la-carte-hadoop-pour-ne-pas-se-perdre.html  (8/12/12)
• NoSQL : théorème de CAP :http://germanlinux.blogspot.fr/2012/01/hadoop-les-limites-des-nosql.html (9/01/12) 

C'est lors de la journée des utilisateurs Hadoop France en decembre 2012 que j'ai compris l'importance du rôle de MongoDB.

Il y a d'un coté le BigDATA:
Il   répond à un besoin de stocker un nombre vertigineux de données et surtout à offrir un cadre pour réaliser des traitements parallèles (map-reduce)

De l'autre  coté le mouvement NoSQL qui cherche à assouplir  l'architecture applicative et à simplifier les modèles de données. Le NoSQL souhaite aussi répondre au besoin de stockage de masse engendré par les réseaux sociaux. Ces informations ne sont pas toujours structurées . La disponibilité, le partage des données sont les objectifs principaux, le traitement parallèle est secondaire.

MongoDB fait le lien entre ces deux mondes.
 

Prochaine vidéo

A bientôt.