 Your new post is loading...
Your new post is loading...
Scoop.it!
Supply chain hacking is often a favorite method among cybercriminals. Once the chain is infected, they can target exploits in a large customer base. 
No comment yet.
Sign up to comment
Scoop.it!
Découvrez tout ce que vous devez savoir sur Apache Spark, le moteur de traitement de données Big Data le plus rapide, ses avantages et son fonctionnement.
Mickael Ruau's insight:
Définition Apache Spark : le Big Data comme application principaleSon principal avantage est sa vitesse, puisqu’il permet de lancer des programmes 100 fois plus rapidement que Hadoop MapReduce in-memory, et 10 fois plus vite sur disque. Son moteur d’exécution DAG avancé supporte le flux de données acyclique et le computing in-memory. Il est également facile à utiliser, et permet de développer des applications en Java, Scala, Python et R. Son modèle de programmation est plus simple que celui d’ Hadoop. Grâce à plus de 80 opérateurs de haut niveau, le logiciel permet de développer facilement des applications parallèles. Un autre avantage d’ Apache Spark est sa généralité. Il fait à la fois office de moteur de requêtes SQL, de logiciel de traitement de données en flux (Spark Streaming), et de système de traitement par graphes (GraphX). Apache Spark regroupe aussi une grande quantité de bibliothèques d’algorithmes MLib pour le Machine Learning. Ces bibliothèques peuvent être combinées en toute simplicité au sein de la même application.
Scoop.it!
HADOOP est une plateforme qui utilise une architecture repartie. C’est l’addition de la capacité de stockage et de traitement de chacun des nœuds qui permet d’offrir un espace de stockage et une puissance de calcul pouvant traiter des volumes de données de plusieurs Téraoctets ou Pétaoctets. Dans cet article, je vais vous présenter une vue d'ensemble de son écosystème.
L’écosystème hadoop désigne le framework qui implémente le modèle de calcul MapReduce et fournit un système de fichiers distribué redondant, optimisé et fiable pour la gestion des fichiers de données volumineux (HDFS) ainsi que l’ensemble des outils permettant d’exploiter ce framework.
Scoop.it!
Quelle création de valeur émerge des données collectées par les acteurs du numérique ? Quels sont les bénéfices que chacun d’entre nous peut en tirer dans ses activités quotidiennes ?
Scoop.it!
Sélection des meilleurs cours, tutoriels, exercices gratuits pour apprendre Big Data du niveau débutant à expert
Scoop.it!
Nous sommes à l'âge d'or du Big Data et les Data Architects disposent de tous les outils dont ils ont besoin pour gérer des données massives. Mais comment les assembler ? Familiarisez-vous avec une vision d'ensemble pour la conception d'architectures Big Data complètes.
Scoop.it!
Big data.Envie de vous former ? Alors que devez-vous apprendre ? Avant toute chose, étudiez un peu l'histoire du big data.
Mickael Ruau's insight:
Big data : quelle différence avec l’analyse de données ?Première question, celle qui permet de comprendre la nouveauté de cette affaire. En fait, la nouveauté vient d’internet et du fait que toutes les données sont produites désormais instantanément de toutes parts. Selon IBM, l’espèce humaine produit 2.5 quintillions (25 milliards de milliards) bits de données chaque jour, en mangeant, dormant, jouant, travaillant, etc. Et donc, quand les gens parlent de ces big data, ils pensent généralement au fait que l’on va prendre une grande partie de ces données, les analyser et en déduire quelque chose d’intéressant. En fait, c’est beaucoup plus que cela. Le big data, c’est beaucoup plus que cela.Le big data, cela consiste aussi :
Au tout début, on a parlé des 3V ou VVV : volume (grandes quantités), variété (différents types de données) et vélocité (rapidité de traitement).
Scoop.it!
Apache Kafka: A Distributed Streaming Platform.
Mickael Ruau's insight:
Apache Kafka® is a distributed streaming platform. What exactly does that mean?A streaming platform has three key capabilities:
Kafka is generally used for two broad classes of applications:
To understand how Kafka does these things, let's dive in and explore Kafka's capabilities from the bottom up. First a few concepts:
Kafka has four core APIs:
In Kafka the communication between the clients and the servers is done with a simple, high-performance, language agnostic TCP protocol. This protocol is versioned and maintains backwards compatibility with older version. We provide a Java client for Kafka, but clients are available in many languages.
Scoop.it!
Il suffit parfois de repenser la façon d'exprimer une condition de filtrage dans une requête SQL pour observer des gains de performances impressionnants. Et la meilleure façon de s'en souvenir c'est sans doute de le voir fonctionner en direct.
Scoop.it!
Introduction In this chapter, we are going to learn about what exactly the Big Data is, classification of Big Data, and its features along with the suitable examples. Before, we can introduce Big Data, let us refresh about computer data first.
Mickael Ruau's insight:
Big Data Course Syllabus Tutorial Introduction to BigData Tutorial Introduction to Hadoop Architecture, and Components Tutorial Hadoop installation on Windows Tutorial HDFS Read & Write Operation using Java API Tutorial Hadoop MapReduce Tutorial Hadoop MapReduce First Program Tutorial Hadoop MapReduce and Counter Tutorial Apache Sqoop Tutorial Apache Flume Tutorial Hadoop Pig Tutorial Apache Oozie Tutorial Big Data Testing
Scoop.it!
Qu'est-ce que le Big Data ? Peut-on prévoir le monde avec le Big Data ? Pourquoi dit-on que le monde devient algorithmique ? Y a-t-il un risque de dérive pour notre vie privée ? Découvrez toutes les réponses à ces questions... Depuis un fauteuil de cinéma !
Mickael Ruau's insight:
Scoop.it!
Le MOOC « Fondamentaux pour le big data » permet d'acquérir efficacement le niveau prérequis en informatique et en statistiques pour suivre des formations dans le domaine du big data et data science.
Scoop.it!
Mickael Ruau's insight:
This tutorial is similar to the Debezium tutorial, except that storage of event streams is changed from Kafka to Pulsar. It mainly includes six steps:
|
Scoop.it!
From
medium
While exploring the available operators, I found rollup and cube that turned out a more advanced variant of groupBy. It didn’t take long before I realized how much I’ve been missing without even being aware of the existence of the aggregation operators in pure SQL and now in Spark SQL.
It’s the same earth-shattering moment which I experienced after I found out about window operator.
All in all, just exploring the features of Spark SQL in Apache Spark made me better at SQL (in the databases like Hive, PostgreSQL, Microsoft SQL Server) as well as gave me some foundation on how data analysts and statisticians could use SQL and Spark SQL in their job.
Mickael Ruau's insight:
You can read about rollup and cube in the Mastering Apache Spark 2 notes of mine in Advanced Aggregation Using ROLLUP and CUBE. Note that I’m yet to describe the performance difference between these groupBy variants and when one could give you a better performance over the others. Stay tuned!
Scoop.it!
Anaconda Distribution is the world's most popular Python data science platform. Download the free version to access over 1500 data science packages and manage libraries and dependencies with Conda.
Scoop.it!
A l'ère du Big Data, comment stocker de manière fiable les quantités massives de données au format incertain que génèrent nos applications ? En créant un Data Lake !
Mickael Ruau's insight:
Lors de la conception d’une architecture Big Data, la première question concerne le stockage pur et simple des données brutes. Où stocker les données ? Selon quel format ? Selon quelle hiérarchie ? Les solutions choisies doivent répondre à des impératifs de passage à l’échelle puisque la quantité de données à stocker va toujours croissant. Mais il ne s’agit pas pour autant d’archivage car il faut établir un accès aisé aux données pour permettre leur exploitation par des applications tierces. Dans ce cours, vous apprendrez à concevoir un Data Lake : il s’agit d’un dépôt de données brutes accessible en lecture seule qui doit être la source de données de référence utilisée par les autres applications de traitement de données. C’est donc un composant fondamental de toute architecture Big Data ! Vous trouviez le stockage de données boring ? Vous allez changer d’avis !
Scoop.it!
Introduction à Big Data Cours Big Data - Chap1 - GI3 - ENIS
Scoop.it!
Mickael Ruau's insight:
Ce cours est une introduction aux nouveaux outils de gestion de bases de données massives, utilisés dans des environnements Big Data.
Scoop.it!
À l’origine, Apache Kafka était un système de messagerie distribué. Au fil du temps, cet outil a beaucoup évolué. Il s’agit aujourd’hui d’une plateforme centralisée pour le stockage et l’échange en temps réel de toutes les données émises par les entreprises qui l’utilisent. De nombreuses firmes l’ont adopté, à tel point que Kafka est aujourd’hui considéré comme une plateforme standard pour les pipelines de traitement de données.
Scoop.it!
Quel système de gestion de base de données privilégier en fonction de votre contexte métier ? Une tableau comparatif à télécharger gratuitement.
Mickael Ruau's insight:
Ce tableau comparatif confronte les principales caractéristiques des bases SQL et NoSQL, en établissant la distinction entre les 4 grandes catégories de bases NoSQL (NoSQL clé/valeur, NoSQL orienté document, NoSQL colonne et NoSQL graphe). A la fin du document, vous trouverez une synthèse comparative détaillant les choix effectués et mettant l’accent sur des cas d’usage.
Scoop.it!
Une brève introduction au Machine Learning: problématique, historique, opportunités actuelles et futures en entreprise.
Scoop.it!
Que faire quand vous avez du mal à trier et prioriser des informations ? La solution s'appelle Machine Learning. Le principe est simple : faire faire les apprentissages à une application pour qu'elle puisse classer, categoriser ou caracteriser différentes informations, sans les connaître initialement. Cela s'applique au spam, aux traductions ou même à la qualité de code. Le Machine Learning est parfois difficile à prendre en main avec de gros projets, alors nous verrons comment en faire sur des données plus modestes, et plus accessibles.
Scoop.it!
Les bases de données Graph ont le vent en poupe. Utilisées par les réseaux sociaux comme Facebook et Twitter, elles se démocratisent et intéressent désormais d'autres acteurs, d'autres industries. 5 points pour mieux comprendre avantages, limites, et cas d'usages.
Scoop.it!
Relevez le défi du Big Data ! Concevez des infrastructures pour exploiter des données massives.
Mickael Ruau's insight:
Prérequis techniques
Complétez notre test de positionnement pour évaluer votre niveau. Notez que ce quiz ne constitue pas une validation. Pour vous inscrire à ce parcours, vous devrez obligatoirement remplir ce formulaire d'admission. Notez que si vous ne possédez pas le niveau de prérequis attendu et/ou que vous êtes déjà en activité, la durée de votre formation sera allongée. Ce que vous saurez faire
Scoop.it!
Open source text search engine for big data and stream filtering
|
Now, let’s look into what the typical IT supply chain looks like in a medium-sized company. We can accomplish this by simply listing an example of common technologies used today:
The list above is meant to paint a clearer picture of the elements in your supply chain. As you can see — even at a mid-size company — there can be a great deal of complexity and a lot of elements that defy tight control. (For deeper exploration, here is a great website dedicated to information about all things supply chain.)