Les logs

Aujourd’hui je veux vous parler du sujet suivant : la gestion des logs, et plus précisément de la quantité de données qu’ils contiennent. Cette masse d’informations, souvent disparate, peut être très difficile à gérer du fait que chaque source de fichier possède une architecture différente.
Et pourtant, il s’agit d’une mine d’or en business intelligence.

Qu’est-ce qu’un log ?

Les logs peuvent être classés en 4 catégories :

• Les fichiers intergiciels (ou middleware) permettant la communication et le partage d’informations entre deux logiciels
• Les fichiers générés par du matériel, parce que celui-ci ne peut avoir de base de données, même ultra légère. Ce matériel communique alors de la data pour qu’un logiciel puisse récupérer ces mêmes informations.
• Les fichiers que vous créez de manière périodique (tableur pour gérer les ventes par semaine, par mois ou par année ; les feuilles de temps par ressources, par clients, etc…)
• Les fichiers générés par des logiciels pour révéler l’état de fonctionnement d’un site web, d’un serveur, d’une application.

En général, ces fichiers induisent plusieurs problématiques :

• Ils sont assez petits en volume mais très nombreux (1 fichier par jour, par heure, par minute, etc…)
• Ils peuvent avoir différentes structures : des fichiers provenant de matériels créés par des sociétés différentes mais réalisant le même travail. Comme les imprimantes, les téléphones, les distributeurs de boissons ou de nourriture, etc…
• La quantité d’informations contenue est volumineuse et / ou volatile.

Exemple 1 : Facturation avec des feuilles de temps

Le premier exemple que l’on peut mentionner est l’utilisation de fichiers tableurs pour gérer des listes. Dans cette exemple, j’utiliserais des feuilles de temps.

Ma société met à disposition des développeurs pour des sociétés. Pour réaliser ma facturation, mes ressources doivent m’envoyer chaque semaine leur feuille de temps pour connaître le temps passé sur projet et chaque client. Sauf que nous avons 50 ressources, ce qui représente en 1 mois (4 semaines) 200 feuilles de temps.
En utilisant le nom de fichier des tableurs (Année-numéro de semaine-code employé), je peux récupérer l’ensemble des données inclues dans les fichiers car ces derniers ont tous la même structure. Bien entendu, je peux extraire du nom du fichier les informations permettant de connaître le collaborateur et les dates d’interventions.

Une fois le rapport réalisé, je pourrais donc établir une facturation par client, mais découvrir aussi quelle ressource travaille davantage pour un client que pour un autre.

Exemple 2 : Analyse de stock de distributeur de boissons

Pour deuxième exemple, une autre société veut gérer ses distributeurs de boissons automatiques. Chaque distributeur envoie un fichier par jour, via le réseau téléphonique, sur le stock utilisé et restant de chaque article dans la machine. Sauf qu’il existe 3 fournisseurs de distributeurs de boissons.

Nous devons donc réaliser tout d’abord une extraction des informations pour chaque source différente (si je devais gérer 1000 structures de fichiers différentes, alors je devrais réaliser 1000 extractions différentes).
Puis lors de la transformation des données, je mets ensemble les champs communs à ces 3 structures de fichiers. Je peux toujours ajouter ou formater les champs qui sont différents dans d’autres fichiers ou dans une table à part, si je nécessite ces informations.

Cela me donne l’occasion d’uniformiser ces informations, et ce, quelque soit la marque du distributeur ou son modèle.

Automatisez, au fur et à mesure

Le travail peut sembler de longue haleine, mais une fois automatisé et les règles métiers (de transformation des informations) appliquées directement lors de la modification des données, il ne me restera plus qu’une chose à accomplir : analyser ces informations.

Pourquoi passer du temps sur des tâches laborieuses, inintéressantes et sans valeur ajoutées ?
Grâce à la business intelligence, automatisez-les et concentrez-vous là où vous dégagez le plus de valeur : l’analyse de l’information.

Ou retrouvez nos autres articles de la série La BI dans tous ses états.