 Your new post is loading...
Your new post is loading...
|
Scooped by
Mickael Ruau
December 4, 2014 4:24 AM
|
We all think we know what we mean by “a company”, such as the energy giants Shell or BP, but what is a company exactly? As OpenOil’s Amit Naresh explained in our OGP Workshop on “Working With Company Data” last week, the corporate structure of many multinational companies is a complex network of interconnected countries domiciled or registered in a wide variety of countries across the world in order to benefit from tax breaks and intricate financial dealings.
Given the structure of corporate networks can be so complex, how can we start to unpick and explore the data associated with company networks?
The following presentation – available here: School of Data: Company Networks – describes some of the ways in which we can start to map corporate networks using open company data published by OpenCorporates using OpenRefine.
|
|
Scooped by
Mickael Ruau
December 3, 2014 4:23 AM
|
We’re going to analyse your search terms in this example, since it’s likely that you will have a lot, and it’s annoyingly complex to analyse it in desktop spreadsheet tools like Excel and Numbers.
|
|
Scooped by
Mickael Ruau
December 1, 2014 4:17 AM
|
presentation of OpenRefine (former Google Refine) for the Toronto Data Science group.
|
|
Scooped by
Mickael Ruau
November 28, 2014 3:13 AM
|
Download a 17 pages tutorial on google refine
by David Huynh
|
|
Scooped by
Mickael Ruau
November 28, 2014 3:01 AM
|
NoSQL has seen a sharp rise in both adoption and migration from the tried and tested relational database management systems. The open source world has accepted it with open arms, which wasn’t the case with large enterprise organisations that still prefer and require ACID-compliant databases. However, as there are so many NoSQL databases, it’s difficult to keep track of them all! Let’s explore the most popular and different ones available to us:
|
|
Scooped by
Mickael Ruau
November 27, 2014 4:11 AM
|
La croissance de l’usage et des volumes de données dans les organisations fait poindre de nouveaux métiers. Data scientist et chief data officer (CDO) ont désormais leur salon de recrutement, Datajob. Reportage sur ces nouveaux postes, et leurs aspirants.
|
|
Scooped by
Mickael Ruau
November 26, 2014 6:33 AM
|
Le MOOC Fondamentaux pour le Big Data vous propose d’acquérir des connaissances de base en statistiques et en informatique dans les domaines de l’analyse,
|
|
Scooped by
Mickael Ruau
November 25, 2014 4:15 AM
|
Even journalists with little database expertise should be using Refine to organize and analyze data; it doesn't require much more technical skill than clicking through a webpage. For skilled programmers, and journalists well-versed in Access and Excel, Refine can greatly reduce the time spent doing the most tedious part of data-management.
|
|
Scooped by
Mickael Ruau
November 25, 2014 3:55 AM
|
Il m'est arrivé à plusieurs reprises de devoir nettoyer des données, les organiser, et rendre tout ceci un peu moins bordélique et surtout intégrable dans des bases pour être utilisée par un moteur de recherche. En général, ça se passe à grand coup de rechercher / remplacer, d'expressions régulières et parfois de macro ou de code.
Bref, c'est chiant.
Puis ce matin, je découvre un projet open source sous licence BSD et initié par Google en 2011 qui s'appelle OpenRefine et dont le but est justement de permettre à tout un chacun de faire ce genre de nettoyage beaucoup plus rapidement.
Pour résumer, OpenRefine est un "structurateur de données en bordel". J'ai regardé les vidéos d'explication et j'ai trouvé ça vraiment sympa. Pour ceux qui se demandent si Google récupère les données, rassurez-vous... L'outil se lance sur votre ordinateur et fonctionne uniquement en local (Windows, OSX, Linux).
|
|
Scooped by
Mickael Ruau
November 22, 2014 5:18 PM
|
In the moral realm there may be 7 deadly sins, but scalability maven Sean Hull has come up Fi...
|
|
Scooped by
Mickael Ruau
November 21, 2014 4:15 AM
|
Le 17 novembre, l'IGN, La Poste et OpenStreetMap ont annoncé leur union de raison autour de la Base adresse nationale (BAN), sous l'oeil bienveillant du secrétaire d'Etat chargé de la réforme de l'Etat et d'Henri Verdier, administrateur général des données.
|
|
Scooped by
Mickael Ruau
November 21, 2014 2:55 AM
|
One of the common causes of downtime with MySQL is running out of connections. Have you ever seen this error? “ERROR 1040 (00000): Too many connections.” If you’re working with MySQL long enough you surely have.
|
|
Scooped by
Mickael Ruau
November 20, 2014 3:18 AM
|
Le fichier des prénoms est établi à partir des seuls bulletins de naissance des personnes nées en France y compris les départements d’Outre-mer (DOM). En conséquence, l’exhaustivité n’est pas garantie sur toute la période, notamment pour les années antérieures à 1946. Les utilisateurs pourront donc constater des écarts avec le nombre annuel des naissances évalué par l'Insee. Ces écarts, importants en début de période, vont en s’amenuisant. Après 1946, ils sont peu significatifs.
Les accents sont absents de ce fichier - "Céline" y est noté "Celine"... Une version accentuée serait beaucoup plus utile.
|
|
|
Scooped by
Mickael Ruau
December 3, 2014 7:47 AM
|
Vous avez décidé de passer le cap, et de jeter les bases d’un projet de Big Data. Mais partir en quête d’un outil idoine s’avère souvent ardu. Pourtant, ce n’est pas le choix qui manque. Quelques conseils pour ne pas se tromper.
|
|
Scooped by
Mickael Ruau
December 1, 2014 4:29 AM
|
Parmi les actions de collecte du big data auxquelles les entreprises s'adonnent, il y a le dimensionnement des efforts. Le but est de s'assurer que l'échantillon de big data qu'elles extraient à des fins d'analyse pour en tirer des conclusions exploitables a la taille adéquate (en l'occurrence, suffisamment large).
Le dimensionnement des efforts de sorte à obtenir un résultat optimal en matière de big data n'est pas chose aisée. Pour ce faire, les entreprises doivent déterminer correctement quelle portion du big data est "inutile", et peut donc être exclue, et laquelle a le potentiel de contribuer à l'analyse et de fournir des réponses aux questions qu'elles se posent.
|
|
Scooped by
Mickael Ruau
December 1, 2014 3:38 AM
|
La notion de vol de données, si elle se comprend aisément, ne correspond pas parfaitement à la définition du vol dans le Code pénal, qui est liée à la soustraction de la chose, à sa disparition. Il en résulte une difficulté juridique pour réprimer le hacking ou l’espionnage industriel en tant que vol. Heureusement, d’autres recours juridiques existent, et la loi du 13 novembre 2014 vient peut-être apporter une touche finale à l’édifice.
|
|
Scooped by
Mickael Ruau
November 28, 2014 3:03 AM
|
“La Communauté urbaine de Bordeaux (Cub) vient de faire paraître un “Guide de demande de données publiques auprès des collectivités” (octobre 2014, PDF, 16 pages). Utile aux entreprises et particuliers qui s’intéressent à l’open data et souhaite en faire une exploitation pour leurs besoins propres ou développer de nouveaux services.
Ce guide diffusé en licence Creative Commons (CC BY SA) [1] apporte des précisions sur la notion de “données”, le rôle et les compétences du “service public” et fournit des ressources : lettre type de demande de données, recherche de données publiques.
|
|
Scooped by
Mickael Ruau
November 28, 2014 2:43 AM
|
Data driven design research personas and the persona DNA profile.
|
|
Scooped by
Mickael Ruau
November 27, 2014 4:10 AM
|
The goal of reconciliation is to connect your collection-specific vocabulary to a controlled vocabulary on the Web.
For example: does your label instruments indicate musical instruments, measuring instruments, or even aeronautical instruments?
Reconciliation is about giving meaning to field values, making your metadata interpretable by the whole wide world.
|
|
Scooped by
Mickael Ruau
November 26, 2014 4:12 AM
|
The techniques we discussed in the Cleanup and Reconciliation parts come in very handy when your data is already in a structured format. However, many fields (notoriously description) contain unstructured text, yet they usually convey a high amount of interesting information. To capture this in machine-processable format, named entity recognition can be used.
|
|
Scooped by
Mickael Ruau
November 25, 2014 4:11 AM
|
No matter how much effort you have put into creating it, tiny errors always creep into a large metadata set. Cleaning is the process that tries to find and correct those errors in a semi-automated way.
The easiest way to get started, is to follow through an example. We use the collection metadata provided by the Sydney Powerhouse Museum and walk you through OpenRefine, right from the start.
|
|
Scooped by
Mickael Ruau
November 25, 2014 2:42 AM
|
This is the tutorial I presented at this year's UPA covering how to do data-driven design research personas.
|
|
Scooped by
Mickael Ruau
November 21, 2014 5:07 AM
|
Ce jeu de données constitué de plus de 15 millions d'adresses provient du projet de Base d'Adresses Nationale Ouverte initié par OpenStreetMap France.
Pour plus de renseignements sur ce projet : http://openstreetmap.fr/bano
Origine des données
BANO est une base de données composite, constituée à partir de différentes sources:
OpenStreetMap (ODbL) - septembre 2014
Arles Crau Camargue Montagnette (Licence Ouverte) - juin 2014
Ville de Montpellier (Licence Ouverte) - juillet 2014
Toulouse Métropole (ODbL) - juin 2014
Rennes Métropole (ODbL) - juin 2014
Mulhouse Alsace Agglomération (Licence Ouverte) - septembre 2013
Grand Nancy (ODbL) - septembre 2013
Nantes Métropole (ODbL) - avril 2014
Grand Lyon (Licence Ouverte) - mars 2014
Communauté Urbaine de Bordeaux (ODbL) - juin 2014
Communauté Urbaine de Strasbourg (Licence Ouverte) - février 2014
Communauté Urbaine de Lille Métropole (Licence Ouverte - juin 2014
données adresses collectées sur le site du cadastre et fichier FANTOIR (Licence Ouverte) - 2014
|
|
Scooped by
Mickael Ruau
November 21, 2014 3:36 AM
|
Même les PME sont touchées par cette problématique. « Dépasser le pétaoctet devient presque banal » explique Eric Antibi, directeur technique France de NetApp. En cause, la copie des données. « Si on a 100To à stocker pour les applications, avec de la virtualisation poste de travail, de la messagerie, des bases de données, de la Ged, de l’archivage légal ; on est pas au pétaoctet avec ces données là. Mais en copie, on peut y arriver facilement ». Et de citer « des services hospitaliers, de grosses PME, des conseils généraux » qui sont selon lui déjà au-delà du Po.
|
|
Scooped by
Mickael Ruau
November 21, 2014 2:50 AM
|
L’objectif de cette présentation était de montrer en quoi les technologies du Web sémantique constituent des réponses à certaines limites du modèle des bases de données relationnelles et donc en quoi elles peuvent avoir leur place dans les systèmes d’information traditionnelles.
|
