MYSQL
24.9K views | +0 today
Follow
 
Scooped by Mickael Ruau
onto MYSQL
Scoop.it!

Elasticsearch: Indexing SQL databases. The easy way. | Search Nuggets

Elasticsearch: Indexing SQL databases. The easy way. | Search Nuggets | MYSQL | Scoop.it

Elasticsearch is a great search engine, flexible, fast and fun. So how can I get started with it? This post will go through how to get contents from a SQL database into Elasticsearch.

Mickael Ruau's insight:

Elasticsearch has a set of pluggable services called rivers. A river runs inside an Elasticsearch node, and imports content into the index. There are rivers for twitter, redis, files, and of course, SQL databases. The river-jdbc plugin connects to SQL databases using JDBC adapters. 

more...
No comment yet.
MYSQL
Your new post is loading...
Your new post is loading...
Scooped by Mickael Ruau
Scoop.it!

RGPD : se préparer à la nouvelle législation sur les données personnelles

RGPD : se préparer à la nouvelle législation sur les données personnelles | MYSQL | Scoop.it
Quelques conseils pratiques pour respecter la nouvelle législation européenne sur les données personnelles (RGPD)
Mickael Ruau's insight:

Take Away pour être RGPD compliant

  • Ne récolter que les données nécessaires à la finalité
  • Obtenir le consentement explicite et positif à la récolte de données : Fini la théorie du « Qui ne dit mot consent » et les bandeaux d’acceptation de cookies avec un oui par défaut
  • Permettre l’effacement et la portabilité des données personnelles à tout client le demandant : Prévoir une fonctionnalité automatique dès la conception de vos interfaces !
  • Notifier la CNIL et vos clients le plus vite possible en cas de piratage de vos données
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

sqlfmt: Un outil en ligne pour formater vos requêt

sqlfmt: Un outil en ligne pour formater vos requêt | MYSQL | Scoop.it
sqlfmt is an opinionated SQL formatter. It’s not designed to be completely customizable, and we hope to remove options over time. Use it and stop thinking about how
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

E-commerçants : comment surfer sur les marketplaces pour vendre à l’international ?

E-commerçants : comment surfer sur les marketplaces pour vendre à l’international ? | MYSQL | Scoop.it

E-commerçants : comment surfer sur les marketplaces pour vendre à l’international ?  Avec la croissance du e-commerce, les frontières géographiques sont aujourd’hui abolies. Les marketplaces représentent aujourd’hui une vente sur deux du e-commerce mondial.[1]En France aussi, la concurrence est internationale. Dans ce contexte, les e-commerçants français ont tout intérêt à s’ouvrir à l’international. Mais par où commencer ?

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Quand la personnalisation, mal gérée, peut se retourner contre les marques

Quand la personnalisation, mal gérée, peut se retourner contre les marques | MYSQL | Scoop.it
Réussir la personnalisation : comment les données peuvent améliorer l’expérience client Par Laurent Bouteiller, Regional Sales Manager de Sitecore Si les consommateurs sont ravis de fournir des informations personnelles en échange d’une meilleure expérience, la personnalisation, mal gérée, peut se retourner contre les marques C’est un fait établi : les marques recueillent des données personnelles concernant des …
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

La CNIL adopte deux référentiels pour la certification des compétences du DPO, et pourra habiliter les organismes certificateurs

La CNIL adopte deux référentiels pour la certification des compétences du DPO, et pourra habiliter les organismes certificateurs | MYSQL | Scoop.it

La loi Informatique et Libertés, telle que modifiée par la loi du 20 juin 2018, donne à la CNIL une nouvelle compétence en matière de certification de personnes. La CNIL peut désormais adopter des référentiels de certification, et agréer les organismes chargés de délivrer cette certification.En clair, pour mieux identifier les compétences et savoir-faire du délégué à la protection des données, la CNIL a adopté deux référentiels.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

La Poste lance sa Charte Data

Portant des valeurs historiques de proximité, de confiance et d’éthique, La Poste s’engage par ce biais de cette charte à apporter toujours plus de transparence, d’assistance, de confidentialité et de sécurité à ses clients.
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

CONNECT PIVOT Table Type - MariaDB Knowledge Base

Transform the result of another table into another table along “pivot” and "fact" columns
Mickael Ruau's insight:

A pivot table is a great reporting tool that sorts and sums (by default) independent of the original data layout in the source table.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

MySQL : une table pivot dynamique - Base de données - Tutoriels - Informatix

Comment transformer les lignes d'une table en colonnes ?
Mickael Ruau's insight:

Qu'est ce qu'une table pivot ?

La table pivot (en anglais pivot table ou crosstab) est une technique pour faire pivoter une table verticale en table horizontale. En agrégeant les bonnes données, les lignes de la table verticale deviennent les colonnes de la table horizontale. Le pivot est une technique très utilisée pour générer des rapports humainement lisibles ou décomplexifier les requêtes sur les tables verticales.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

ronaldbradford/PivotTable: Generate and render a Pivot Table from MySQL Query

ronaldbradford/PivotTable: Generate and render a Pivot Table from MySQL Query | MYSQL | Scoop.it
Generate and render a Pivot Table from MySQL Query - ronaldbradford/PivotTable
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Dynamic pivot tables (transform rows to columns)

Dynamic pivot tables (transform rows to columns) | MYSQL | Scoop.it
  Dynamic pivot tables (transform rows to columns) MySQL pivot table with dynamic headers.   Let’s assume we have a table of properties (a properties table) – ‘properties’ (script of its creation is given below), and we need to do Read Mor
more...
No comment yet.
Rescooped by Mickael Ruau from Vincent Datin
Scoop.it!

RCU : L'outil qui dope la relation client

RCU : L'outil qui dope la relation client | MYSQL | Scoop.it

Qu’elle soit big, small ou encore smart, la data reste le cheval de bataille des entreprises. Mais si les 3,8 milliards d’internautes génèrent de gigantesques masses d’informations qui sont une véritable mine d’or pour les marques, l’utilisation pertinente de la data reste néanmoins complexe. 


Via Vincent Datin
more...
Vincent Datin's curator insight, August 23, 12:57 AM

Un référentiel client unique (RCU) s’avère être un passage obligatoire pour toute marque souhaitant améliorer ses campagnes de communication et adresser des messages ultra personnalisés à ses clients.

Scooped by Mickael Ruau
Scoop.it!

Designing Fast Data Application Architectures – Free eBook (By O’Reilly)

Designing Fast Data Application Architectures – Free eBook (By O’Reilly) | MYSQL | Scoop.it
Learn how to choose, combine, and run data services to build the resilient, scalable, and responsive architectures that your fast data applications require.
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Anticipez les changements avec la méthode XP - Perfectionnez votre gestion de projet agile

Anticipez les changements avec la méthode XP - Perfectionnez votre gestion de projet agile | MYSQL | Scoop.it
Si vous avez déjà adopté une gestion de projet agile, venez compléter votre collection de bonnes méthodes pour personnaliser votre pilotage et faciliter le travail à grande échelle de vos équipes.
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Orchestrator : Un outil de gestion de réplication

Orchestrator : Un outil de gestion de réplication | MYSQL | Scoop.it
MySQL replication topology management and HA. Contribute to github/orchestrator development by creating an account on GitHub.
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Apprendre à programmer ses propres erreurs et exceptions dans les procédures SQL, un billet de Cinephil

Apprendre à programmer ses propres erreurs et exceptions dans les procédures SQL, un billet de Cinephil | MYSQL | Scoop.it

Chez MySQL / MariaDB, on génère l'exception à l'aide de l'instruction SIGNAL.
Pour une exception personnalisée, il est de coutume d'utiliser le SQLSTATE '45000'.
On peut ensuite donner au SIGNAL un "numéro d'erreur" MYSQL_ERRNO qui doit être un nombre à 5 chiffres. Pour un numéro personnalisé , il vaut mieux éviter d'utiliser les numéros standards de MySQL et donc commencer la numérotation des exceptions personnalisées à partir de 10001.
Enfin, Le message personnalisé est donné par la variable MESSAGE_TEXT et ne doit pas dépasser 64 caractères sous peine d'être tronqué.

Mickael Ruau's insight:

Voilà ce que ça donne dans le code de notre procédure MySQL /MariaDB (voir partie du code -- Contrôle de la date de naissance) :

 
Code SQL :
 
DELIMITER // CREATE OR REPLACE PROCEDURE pi_ajout_utilisateur ( INOUT id_personne INTEGER, -- Identifiant de la personne -- Données pour la création éventuelle de la personne IN nom_usuel VARCHAR(40), -- Nom usuel de la personne IN prenom_usuel VARCHAR(40), -- Prénom usuel de la personne IN date_naissance DATE, -- Date de naissance de la personne -- Données pour la création de l'utilisateur IN login VARCHAR(40), -- Nom d'utilisateur IN mot_passe VARCHAR(40) -- Mot de passe de l'utilisateur (on suppose qu'il est crypté par l'application) -- Remarque : la date de création et la validité de l'utilisateur sont automatiques lors de sa création ) BEGIN -- Contrôle de la date de naissance IF date_naissance NOT BETWEEN DATE_SUB(CURRENT_DATE, INTERVAL 100 YEAR) AND DATE_SUB(CURRENT_DATE, INTERVAL 10 YEAR) THEN -- Si la date de naissance n'est pas comprise entre aujourd'hui moins 100 ans et aujourd'hui moins 10 ans => erreur ! SIGNAL SQLSTATE '45000' SET MYSQL_ERRNO = 10001, MESSAGE_TEXT = 'Date de naissance incorrecte'; END IF;   -- Contrôle de l'id_personne et ajout éventuel de la personne IF id_personne IS NULL THEN -- Identifiant de la personne non fourni : on crée d'abord la personne INSERT INTO te_personne_prs (prs_nom, prs_prenom, prs_date_naissance) VALUES (nom_usuel, prenom_usuel, date_naissance);   -- Récupération du prs_id généré par l'auto-incrémentation SET id_personne = LAST_INSERT_ID(); END IF;   -- Création de l'utilisateur INSERT INTO th_utilisateur_uti (uti_id_personne, uti_login, uti_mot_passe, uti_date_creation, uti_valide) VALUES (id_personne, login, mot_passe, CURRENT_DATE, FALSE); END;//
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Data Visualisation | SOAT

Data Visualisation | SOAT | MYSQL | Scoop.it

La data visualisation nous permet de créer un visuel qui transmet de manière efficace le sens d’une donnée. Ce visuel doit prendre en compte la donnée mais également la perception humaine. Parmi les 3 modes de visualisation (interactif, présentation, storytelling), celui que nous rencontrons le plus fréquemment est la présentation.

C’est pour ce mode de visualisation que cette RefCard vous aidera à choisir le type de visuel le plus adapté à vos données afin de transmettre clairement votre message.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

 Mieux comprendre le Data-Lake 

 Mieux comprendre le Data-Lake  | MYSQL | Scoop.it

 Mieux comprendre le Data-Lake  Converteo (ADLPerformance), cabinet de conseil en stratégie digitale et data, renouvelle son panorama sur les opportunités liées à une infrastructure Data-Lakes. Cette technologie a démontré ses capacités d’exploitation et de valorisation des datas des entreprises et, dans un contexte de mise en conformité RDPD, révèle encore plus son agilité. 

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Don't use Hadoop - your data isn't that big - Chris Stucchio

Don't use Hadoop - your data isn't that big - Chris Stucchio | MYSQL | Scoop.it

In terms of expressing your computations, Hadoop is strictly inferior to SQL. There is no computation you can write in Hadoop which you cannot write more easily in either SQL, or with a simple Python script that scans your files.

SQL is a straightforward query language with minimal leakage of abstractions, commonly used by business analysts as well as programmers. Queries in SQL are generally pretty simple. They are also usually very fast - if your database is properly indexed, multi-second queries will be uncommon.

Hadoop does not have any conception of indexing. Hadoop has only full table scans. Hadoop is full of leaky abstractions - at my last job I spent more time fighting with java memory errors, file fragmentation and cluster contention than I spent actually worrying about the mostly straightforward analysis I wanted to perform.

If your data is not structured like a SQL table (e.g., plain text, json blobs, binary blobs), it's generally speaking straightforward to write a small python or ruby script to process each row of your data. Store it in files, process each file, and move on. Under circumstances where SQL is a poor fit, Hadoop will be less annoying from a programming perspective. But it still provides no advantage over simply writing a Python script to read your data, process it, and dump it to disk.

In addition to being more difficult to code for, Hadoop will also nearly always be slower than the simpler alternatives. SQL queries can be made very fast by the judicious use of indexes - to compute a join, PostgreSQL will simply look at an index (if present) and look up the exact key that is needed. Hadoop requires a full table scan, followed by re-sorting the entire table. The sorting can be made faster by sharding across multiple machines, but on the other hand you are still required to stream data across multiple machines. In the case of processing binary blobs, Hadoop will require repeated trips to the namenode in order to find and process data. A simple python script will require repeated trips to the filesystem.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Pivoting Tables With MySQL – Programming For Finance

Pivoting Tables With MySQL – Programming For Finance | MYSQL | Scoop.it

In this tutorial, we will cover pivoting tables with MySQL. Note you can use whatever language that comes with your DBMS that is SQL oriented such as SQL Server. You can think of pivoting tables as selecting unique values and assigning them to specific columns, hence pivoting the table. We will visit this question here on the Hackerrank website, a popular tool to prepare for interviews and or sharpen your skills with SQL and various other languages.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Pivoting in MySQL

The Problem


You want to "pivot" the data so that a linear list of values with 2 keys becomes a spreadsheet-like array. See examples, below.

A Solution


The best solution is probably to do it in some form of client code (PHP, etc). MySQL does not have a syntax for SELECT that will do the work for you. The code provided here uses a Stored Procedure to generate code to pivot the data, and then runs the code.

You can edit the SQL generated by the Stored Procedure to tweak the output in a variety of ways. Or you can tweak the Stored Procedure to generate what you would prefer.

more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Pivot tables: analytics in pure SQL | Percona Live MySQL Conference 2015

Pivot tables: analytics in pure SQL | Percona Live MySQL Conference 2015 | MYSQL | Scoop.it
Analytics features in MySQL are limited to the aggregation functions, the ones that are used with GROUP BY, i.e. COUNT, SUM, AVG, etc. However, these functions are mono-dimensional, meaning that they group data by a set of properties that produce a list of values.
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

SQL Pivot in all databases: MySQL, MariaDB, SQLite, PostgreSQL, Oracle, …

Pivoting data is a rather common problem that comes in many different flavors. At its heart, the requirement is to transpose data from multiple rows into columns of a single row.

This requirement is particularity common in a reporting context.

more...
No comment yet.
Rescooped by Mickael Ruau from Enterprise Architecture
Scoop.it!

Pushing The Ethical Boundaries Of Big Data: A Look At China's Social Credit Scoring System

Pushing The Ethical Boundaries Of Big Data: A Look At China's Social Credit Scoring System | MYSQL | Scoop.it
China has created a new social credit score system for its 1.3 billion citizens. What are the ethical ramifications of using big data in this way?
Via Emeric Nectoux
more...
No comment yet.
Scooped by Mickael Ruau
Scoop.it!

Comment structurer un dataset client à l’aide de la théorie des graphes pour la prédiction d’achat : retour d’expérience

Comment structurer un dataset client à l’aide de la théorie des graphes pour la prédiction d’achat : retour d’expérience | MYSQL | Scoop.it

Contexte Notre client, spécialisé dans le marketing, dispose d'un historique de plusieurs centaines de millions d'événements d’achat. Les objectifs de ce client sont d’analyser le parcours des consommateurs, d’identifier les habitudes d’achats (affinité à une marque) et surtout,de prédire le comportement du consommateur,

Mickael Ruau's insight:

Ce processus est découpé en trois grandes étapes :

  • Prétraitement : nettoyage, enrichissement des données... ;
  • Traitement : rapprochement des évènements, enrichissement du dataset... ;
  • Publication : validation et publication du dataset final
    Frameworks.

Pour réaliser les différents traitements nous utilisons Spark 2.1.

Nous analysons nos données avec Apache Drill. Cet outil est un moteur SQL qui permet de consulter simplement des datasets. Il a l’avantage de prendre en charge de nombreux formats de stockage : CSV, Parquet, JSON, SGBD, NoSQL...

more...
No comment yet.