Data Catalog: Quando è Necessario Averne Uno

Che cos’è un data catalog?

Secondo Gartner, un data catalog è un inventario di asset di dati organizzati per metadati, visualizzazioni e dashboard che forniscono accesso on-demand a dati pronti per il business per aiutare gli utenti a ottenere valore dai dati definiti.

Un data catalog comprende una raccolta di metadati, strumenti di gestione e ricerca dei dati progettati per assistere aziende, analisti e altri professionisti dei dati. Offre un repository centralizzato di informazioni affidabili che fornisce agli utenti una visione dei dati di un’organizzazione. La catalogazione dei dati consente ai team di scoprire, comprendere, fidarsi e gestire i dati per scopi di governance o aziendali.

Supponiamo di entrare in una biblioteca ordinata con libri suddivisi per genere, autore e argomento. La biblioteca fornisce un catalogo con tutti i libri, le edizioni, il luogo in cui si trovano e una breve descrizione di ogni libro. Questa disposizione meticolosa facilita la ricerca di un libro specifico e migliora l’esperienza di lettura complessiva. Lo stesso vale per le risorse digitali nella catalogazione dei dati.

Le piattaforme di data catalog sono strumenti potenti che creano una fonte centrale di verità per accedere facilmente ai dati e comprenderli. Queste piattaforme registrano ogni immissione di dati, conversazione e domanda, fornendo una conoscenza documentale che migliora la soddisfazione dei clienti quando i cittadini dei dati (ingegneri dei dati, scienziati dei dati, steward dei dati) passano attraverso l’immissione dei dati e la loro gestione. I data catalog possono anche servire come directory aziendali per aiutare gli utenti a identificare i termini aziendali utilizzati in un asset di dati.

L’evoluzione della catalogazione dei dati

Le tendenze attuali e i progressi tecnologici guidano l’evoluzione dei data catalog. Alla fine del XX secolo, i data catalog esistevano solo come versione digitale dei cataloghi fisici, per facilitare la scoperta di libri e documenti. Poco dopo si sono evoluti per semplificare l’accesso alle risorse online come gli e-book. Con l’affermarsi dei database e dei data warehouse, sono emersi i cataloghi di dati aziendali, che offrono metadati descrittivi per le risorse di dati. Questa transizione ha portato all’istituzione della data stewardship, evidenziando la necessità di team dedicati alla gestione dei metadati aziendali.

Nel XXI secolo i data catalog si sono ampliati per includere il lignaggio dei dati e il contesto aziendale. Oggi, la prevalenza del cloud computing, l’analisi dei big data, l’intelligenza artificiale e l’apprendimento automatico hanno influenzato la gestione moderna dei dati. I dati provengono continuamente da fonti diverse, come desktop, dispositivi mobili, social media, video, sensori, testi e sistemi transazionali e operativi. Con queste numerose fonti di dati, la catalogazione manuale diventa impraticabile.

Questa evoluzione cambia il modo in cui percepiamo e gestiamo i dati e sottolinea l’importanza di utilizzarli e accedervi pienamente. Pertanto, l’uso dell’IA e del ML per la raccolta e la creazione di metadati, l’inferenza semantica e il tagging nei moderni cataloghi di dati è diventato essenziale per estrarre il massimo valore dalla catalogazione dei dati riducendo al minimo gli sforzi manuali. Grazie a queste funzioni avanzate, i team IT e le aziende possono semplicemente automatizzare la creazione e la cura dei metadati, migliorando i metodi di individuazione dei dati. La maggior parte degli strumenti di data catalog consente anche di rimanere automaticamente aggiornati con il versioning dei dati, i modelli di utilizzo, le valutazioni e i feedback degli utenti e la profilazione dei dati. È diventato quindi più facile identificare e catalogare le risorse di dati in tempo reale, man mano che vengono generate o ingerite da varie fonti.

Architettura di un data catalog

L’architettura di un data catalog è tipicamente costituita da componenti essenziali che raccolgono, gestiscono e organizzano i dati e le informazioni ad essi associate. Ecco i componenti chiave dell’architettura di un catalogo dati:

• Metadati: i metadati si riferiscono alle informazioni sulle risorse di dati, tra cui l’origine, il percorso dei dati, il formato, la qualità, lo schema, le autorizzazioni di accesso e altro ancora. Indicano dove trovare una fonte di dati e dove si trova all’interno del sistema di gestione dei dati. Aiutano a comprendere la struttura e lo scopo dei dati.
• Lignaggio dei dati (o Data lineage): descrive la storia dei dati, dettagliando le fasi di elaborazione, le trasformazioni e le combinazioni con altri set di dati. Include i dettagli della fonte da cui provengono i dati. Inoltre, aiuta a capire le dipendenze tra i set di dati e cattura le relazioni tra i set di dati su piattaforme diverse.
• Data governance: la governance dei dati definisce le regole e le pratiche di accesso, modifica e utilizzo dei dati. Garantisce l’affidabilità, la sicurezza e l’accuratezza del data catalog, nonché la qualità, la privacy e la conformità alle normative.
• Integrazione con le sorgenti di dati: i data catalog sono spesso compatibili con molti altri strumenti di alfabetizzazione e qualità dei dati nel moderno stack di dati. La maggior parte degli strumenti di catalogo si integra perfettamente con diverse fonti di dati, open API, strumenti di analisi e di business intelligence, documentando tutti gli strumenti in un unico luogo.
• Analisi dell’utilizzo dei dati: questo fornisce informazioni su chi utilizza i dati aziendali e sulla frequenza di utilizzo, consentendo alle aziende di scoprire i set di dati più popolari e di dare priorità alle modifiche che potrebbero essere apportate.

Cosa rende così prezioso un data catalog?

Trovare dati affidabili può essere una sfida per gli utenti, soprattutto nell’era dei data lake, dei big data e dell’analisi self-service. Le organizzazioni non possono più permettersi di affidarsi a specialisti IT e di analisi dei dati per supportare gli utenti aziendali, soprattutto in considerazione delle enormi quantità di dati che creano. Per questo motivo, i data catalog vengono rapidamente e ampiamente integrati nei sistemi di tutti i settori per facilitare la gestione dei dati per le aziende, i data engineer e gli utenti.

I data catalog sono fondamentali per gestire e sfruttare efficacemente le risorse di dati, fornendo preziose informazioni per valutare l’idoneità dei dati ai casi d’uso previsti. Tracciano l’utilizzo e l’adozione dei dati in un ecosistema. Invece di concentrarsi su singoli punti di dati isolati, forniscono una prospettiva completa e approfondita su tutti i dati.

Un data catalog organizza le risorse di dati collegando i set di dati con i metadati corrispondenti. Aiuta le organizzazioni a compilare un glossario aziendale di metadati per monitorare i set di dati, le pianificazioni dei flussi di lavoro e le attività di elaborazione. Il sistema ottimizza questi elementi in asset ben definiti, significativi e facilmente ricercabili, in modo che gli utenti dei dati possano comprenderli facilmente. Utilizzando i metadati e le funzionalità di ricerca, consentono agli utenti di cercare e scoprire rapidamente gli asset di dati rilevanti, tra cui database, tabelle, file e report. In questo modo, chi analizza i dati può ottenere rapidamente approfondimenti e prendere decisioni aziendali più intelligenti.

I data catalog svolgono anche un ruolo cruciale nell’aiutare le organizzazioni a rispettare le normative sulla privacy e sulla sicurezza dei dati. Forniscono una visione chiara del percorso dei dati, della provenienza e del punteggio di qualità. Aiutano le organizzazioni a gestire la qualità dei dati e a controllare l’accesso ai dati sensibili impostando autorizzazioni e livelli di accesso. Un data catalog è importante perché crea una cultura coesiva orientata ai dati in cui le aziende e i team IT possono essere allineati.

Problemi comuni senza soluzioni di data catalog

Le aziende che non dispongono di soluzioni di data catalog possono trovarsi ad affrontare diverse sfide legate alla gestione, all’accessibilità e alla governance dei dati. Alcune sfide principali sono le seguenti:

• Rischi per la sicurezza dei dati e la conformità: Una delle maggiori sfide nella gestione dei dati è garantire la privacy e la sicurezza dei dati in questione. Quando i dati sono distribuiti su più fonti, la loro gestione diventa difficile. Questa sfida può compromettere il modo in cui un’azienda monitora e controlla l’accesso ai dati, aumentando il rischio di accesso non autorizzato e di violazione dei dati. Di conseguenza, l’assenza di data catalog può influenzare il modo in cui le organizzazioni aderiscono alle normative e ai requisiti di conformità, con conseguenti potenziali rischi legali.
• Qualità e coerenza dei dati: I dati provengono da più fonti e sono spesso raccolti in formati diversi. Di conseguenza, le organizzazioni che non dispongono di un catalogo centralizzato possono riscontrare incoerenze nella classificazione dei dati, con conseguente confusione e analisi imprecise. Questo può anche portare alla formazione di silos di dati, rendendo difficile per le organizzazioni determinare la provenienza dei dati. Le aziende possono avere difficoltà a mantenere e garantire la qualità dei dati e dei metadati se non esistono processi consolidati di convalida dei dati e di garanzia della qualità.
• Problemi di scoperta dei dati: Senza un data catalog, i dipendenti possono faticare a trovare i set di dati rilevanti di cui hanno bisogno per l’analisi o il processo decisionale. Secondo un report di Forbes, i data scientist hanno dedicato oltre il 75% del loro tempo alla pulizia e all’organizzazione dei dati. Circa il 57% dei data scientist considera la pulizia e l’organizzazione dei dati la parte meno piacevole del proprio lavoro. Gli utenti possono anche impiegare molto tempo nella ricerca di dati in diversi sistemi e fonti, con conseguenti inefficienze.

L’implementazione di una soluzione di data catalog può risolvere molti dei problemi sopra menzionati, fornendo un repository centralizzato per le risorse di dati. La catalogazione dei dati migliora l’individuazione dei dati, aumenta la collaborazione e garantisce una migliore governance e conformità dei dati.

Fonti di dati necessarie per il data catalog

La creazione di un data catalog completo implica la raccolta di informazioni da numerose fonti di dati per presentare una rappresentazione compilata e organizzata delle risorse di dati disponibili di un’organizzazione. Queste fonti di dati possono includere database relazionali e NoSQL, data lake, data warehouse, cloud storage, metastores, stream e file. Alcuni esempi comuni sono:

• Amazon S3;
• Azure Synapse Analytics;
• Azure Data Lake Storage;
• Amazon Redshift;
• Google BigQuery;
• Snowflake;
• Oracle DB;
• IBM DB2;
• MySQL;
• Apache Kafka;
• HL7.

Conclusione

I data catalog servono come unica fonte di verità per tutte le risorse di dati dell’organizzazione. Oggi la maggior parte delle aziende sta perseguendo attivamente strategie e approcci di gestione dei dati che consentano di gestire i dati dell’organizzazione. La gestione dei metadati e la catalogazione dei dati sono quindi necessarie per garantire la qualità, la sicurezza e l’accuratezza dei dati. È diventato un aspetto che ogni azienda dovrebbe prendere in considerazione per prendere decisioni basate sui dati, risparmiare sui costi operativi, migliorare l’accessibilità dei dati e ottenere una visione unificata di tutti i dati di un’organizzazione.

A partire da Mia-Platform v12.2 è possibile configurare un progetto all’interno di Mia-Platform Console in modo che funzioni come un data catalog. Leggi la documentazione per scoprire questa funzionalità!