Trois principales start-up américaines se sont développées sur la maîtrise de Hadoop et Spark. L’enjeu étant d’intégrer les différents outils disponibles dans le domaine du big data elles ont développé des distributions qui contiennent des versions compatibles des différentes composants de la stack big data. Chacune avec un business modèle différent :
✓ Horton Works (créée en 2011) : premier contributeur sur les projets Hadoop elle propose une distribution 100 % open source,
✓ Cloudera (créée 2008) propose une distribution constituée principalement d’outils open source, mais avec un outil propriétaire de gestion de l’intégration,.
✓ MapR (créée en 2009) est une distribution principalement propriétaire.
Entre ces trois sociétés la compétition a été rude, et s’est concrétisée par des levées de fond se comptant en centaines de millions de dollars, avec Cloudera levant jusqu’à 900 millions en 2014.
En 2019 le secteur s’est consolidé, avec le rachat d’Horton Works par Cloudera. Le 30 mai 2019 MapR a annoncé qu’elle avait besoin d’argent frais pour continuer à exister et éviter la faillite. Le 5 août 2019 MapR était vendue à HPE…Quid de Spark dans ce contexte ? Et bien Spark se porte bien : sa souplesse et ses performances ont eu raison des affres financières de ses concurrents. Ainsi, DataBricks, la société fondée en 2013 par les créateurs de Spark a levé 400 millions de dollars le 22 octobre 2019, la valorisant à 6,2 millards ! Si vous avez suivi ce livre jusqu’ici, on espère que cette nouvelle vous conforte dans votre choix d’apprendre Spark …