FrenchTech SAAS

Les différents moteurs de stockage de MySQL

Data quality ensures that an organization’s data is accurate, consistent, complete, and reliable. The quality of the data dictates how useful it is to the enterprise. Ensuring data quality—especially with the sheer amount of data available to today’s enterprises—is a tremendously complex beast. To do this effectively, the modern enterprise relies on data quality tools.

In this post, we will consider five data quality tools and see how they can help you in your data journey:

Great Expectations
Spectacles
Datafold
dbt (Data Build Tool)
Evidently

A step-by-step database sizing and capacity planning example: estimating the workload and operational margins, then calculating the required database resources.

This article demonstrates exactly how to use XPath to the exclusion of shorthand, solely by means of axis specifiers and node tests.

Les modèles par héritage possèdent de nombreux avantages. Parmi ceux-ci, l'économie en volume de données stockées, la standardisation des types et des formats de données. Cet article fait le point sur la modélisation des entités par héritage afin de vous permettre de l'implémenter au sein de vos applications, et cela, en toute sérénité.

La technique des métadonnées est pertinente pour laisser toute liberté aux utilisateurs de rajouter autant de rubriques de données qu'ils le souhaitent sans jamais de crainte quant à leur volume ni leur facilité d'interrogation. Et tout cela sans jamais modifier l'architecture de la base de données…

Les bases de données SQL et plus particulièrement MySQL restent une des pierres angulaires de l'immense majorité des sites Internet. MySQL fonctionne très bien out of the box, cependant, dès que la base se trouve assez sollicitée, on s'aperçoit que les réglages par défaut méritent une petite optimisation. Jetons un œil à tout ça !

Récemment, un des serveurs de Peerus commençait à avoir de sacrés pics de chargement (load) lors des heures de forte charge, avec MySQL pour principal responsable. Une grosse centaine de connexions simultanées et quelques dizaines de requêtes par seconde sur des bases de plusieurs dizaines de giga-octets. C'est un peu plus que le WordPress moyen, mais rien d'ingérable pour un MySQL bien réglé.

Dès lors, avant d'imaginer prendre un serveur plus puissant, sharder (partitionnement horizontal) les tables ou je ne sais quoi encore, il faut tirer le maximum de notre cher SGBDR.

Nous nous concentrerons ici sur le moteur InnoDB, lequel tend à supplanter MyISAM. Cependant, ce n'est pas la réponse magique à tous les types d'usages. Par ailleurs, même si nous parlons de MySQL, c'est avec son fork MariaDB que j'ai l'habitude de travailler depuis quelques années. Vu le peu de soin qu'Oracle apporte au développement de MySQL, Maria est même devenu la variante MySQL par défaut dans Debian.

If you've ever wanted to learn how to write a MySQL cursor or a MySQL loop, you've come to the right place. Let's iterate!

In this article, learn how conflict-free replicated data types can help distributed systems handle consistency challenges.

La plupart des développeurs sont persuadés que mettre toutes les informations dans une même table rendra leur base de données plus rapide… Et l’on voit apparaître dans la base de nombreuses tables de plusieurs dizaines de colonnes. C’est une vue à court terme, car dès que la base de données commence à croitre ou que le nombre d’utilisateur augmente, les performances deviennent vite catastrophique… Cet article explique pourquoi…

À chaque audit que je fais, et cela depuis maintenant plus de 15 ans, on trouve régulièrement la même erreur : des tables avec un nombre effrayant de colonnes. Par exemple une table des personnes, dans laquelle on trouve des adresses, des téléphones, des mails, … bref tout un tas d’information relatif à une personne, mais qui ne constitue aucunement des attributs directs de la personne. Et chaque fois que l’on fait remarquer cela aux développeurs, la réponse est la même :

« on m’a dit que les jointures c’était mal »
« les jointures c’est pas performants, c’est connu »
« Je mets tout dans la même table, ça ira plus vite »

…
Bien évidemment, c’est tout le contraire, mais pour le comprendre il faut revenir à ce qu’est une base de données relationnelle, comment fonctionne les SGBDR client/serveur et ce qu’est la normalisation d’un modèle de données, c’est à dire son découpage en de multiples tables, chacune étant bien spécialisé et concentré sur l’objet qu’elle modélise.

Learn how to parse and standardize addresses with different tools, including regex, npm packages, online validators, and geocoding APIs.

Stored procedures have many advantages, including:

High performance in data manipulation in comparison to handling this through another application tier, since transferring data across other tiers introduces at least network delay.
Abstraction of database structure and logic, where comes all the benefits of abstraction.
Ease of DDL execution. Some other languages and frameworks have limitations with DDLs.
Direct access to some database features, which are hidden from clients just executing DMLs.

When Stored Procedures Are Discouraged

However, coding to stored procedures is generally discouraged in multi-tier applications for the following reasons.
Distributed Logic

Usually, multi-tier applications have a business layer that carries the business logic, including validations, orchestration, business rules, etc., making another layer of logic causes the logic to be distributed between multiple layers, violating coherence and separation of concerns
Transaction Management

This is related to the previous point; however, it's more specific to transactions. Transactions should be managed by a single layer, distributing transactions between the business layer. The stored procedure introduces a hard-to-manage burden and usually results in spaghetti code and tough workarounds to manage commits and rollbacks.
Source Control and CI Unfriendliness

Till this moment, it is still very difficult to maintain stored procedure codes on source control the same way it is done for other codebases because it usually exists on the database itself rather than being maintained as a separate codebase that can be manipulated, complied with, or tracked independently on an IDE, and it is also difficult to include this code in CI pipeline (like Jenkins).

I never seemed to find the perfect data-oriented Python book for my course, so I set out to write just such a book. Luckily at a faculty meeting three weeks before I was about to start my new book from scratch over the holiday break, Dr. Atul Prakash showed me the Think Python book which he had used to teach his Python course that semester. It is a well-written Computer Science text with a focus on short, direct explanations and ease of learning.The overall book structure has been changed to get to doing data analysis problems as quickly as possible and have a series of running examples and exercises about data analysis from the very beginning.