Il primo modulo del corso di Data Science e Diritto definisce le fondamenta concettuali, analitiche, architetturali e giuridiche per il trattamento dei grandi volumi di dati (Big Data) e dei flussi generati in tempo reale dalle infrastrutture Internet of Things (IoT).
L’obiettivo è comprendere l’intera filiera del valore informativo: dal momento in cui il dato grezzo viene rilevato da un sensore o generato da un utente, passando per i modelli di analisi statistica e di Machine Learning, fino alle architetture distribuite (Fog/Edge Computing, Architettura Lambda) e ai vincoli di conformità imposti dai regolamenti europei (GDPR e AI Act).
Il punto di partenza fondamentale della Data Science consiste nel comprendere come si trasforma una semplice rilevazione numerica o testuale in una decisione strategica consapevole. Questo processo evolutivo è formalizzato attraverso la Piramide DIKW (Data, Information, Knowledge, Wisdom).
Gerarchia del Valore Informativo — Piramide DIKW
⬆️ Risalendo la piramide aumenta il valore informativo e si riduce l’incertezza strategica.
Dati (Data) — Rilevazioni Atomiche Grezze
Rappresentano rilevazioni elementari, oggettive e prive di contesto. Preso singolarmente, il dato grezzo non fornisce un significato operativo immediato.
Esempio pratico: le singole letture puntuali di temperatura trasmesse da una rete di sensori geolocalizzati.
Informazione (Information) — Contestualizzazione ed Interpretazione
Si ottiene nel momento in cui il dato viene elaborato, organizzato e interpretato estraendo approfondimenti temporali e spaziali.
Esempio pratico: aggregando le letture dei sensori nel tempo e nello spazio, emerge l’evidenza di un aumento costante delle temperature medie in una determinata area geografica.
Conoscenza (Knowledge) — Correlazione e Confronto delle Ipotesi
Nasce quando l’informazione ottenuta viene messa a confronto con altri dati e altre informazioni per verificare ipotesi e individuare relazioni causali.
Esempio pratico: incrociando i dati sull’aumento termico con i registri industriali e del traffico, si dimostra il nesso causale tra l’innalzamento delle temperature e le emissioni prodotte dalle attività umane.
Saggezza (Wisdom) — Decisione e Azione Strategica
Costituisce il vertice della piramide: è l’applicazione pratica della conoscenza e delle evidenze acquisite per valutare quali interventi effettuare e assumere decisioni strategiche a lungo termine.
Esempio pratico: l’adozione di un piano operativo aziendale o governativo mirato alla riduzione delle emissioni inquinanti.
All’interno di questa architettura concettuale, la Business Intelligence (BI) non è un singolo software, bensì l’intera metodologia che guida e governa la transizione dal dato grezzo fino alla saggezza:
Si parla formalmente di Big Data quando ci si trova in presenza di grandi volumi informativi accompagnati da frequenze di operazioni di Input/Output (I/O) per secondo estremamente elevate, tali da mettere in crisi le capacità di calcolo e di archiviazione dei sistemi informatici tradizionali.
Per identificare e qualificare una banca dati come Big Data, la letteratura e la prassi ingegneristica fanno riferimento al Modello delle 4 V:
1. Volume
Dimensione massiva del dataset.
La quantità complessiva di informazioni raggiunge l’ordine dei Petabyte e degli Zettabyte, superando la capacità fisica dei sistemi di archiviazione monolitici tradizionali e imponendo l’adozione di sistemi di storage e gestione distribuiti.
2. Velocità (Velocity)
Generazione ed elaborazione Real-Time.
Riguarda il tasso incessante con cui i dati vengono sia prodotti sia elaborati. I flussi ad alta frequenza richiedono analisi in tempo reale o quasi reale (near real-time), generalmente con pochi millisecondi di latenza, per garantire una reattività immediata.
3. Varietà (Variety)
Eterogeneità delle fonti e dei formati.
Coesistenza simultanea di molteplici tipologie di dati provenienti da sorgenti eterogenee: dati strutturati (tabelle SQL), semi-strutturati (JSON, XML, log) e destrutturati (testi liberi, audio, video, flussi sensoriali).
4. Veridicità (Veracity)
Qualità e affidabilità del dato.
Indica il grado di accuratezza, integrità e attendibilità dei dati, inteso come il reale valore informativo estratto al netto del rumore. Richiede processi di bonifica dei dati rumorosi e prevenzione delle anomalie.
Una delle sfide centrali introdotte dalla Varietà dei Big Data è il superamento del modello tabellare classico:
| Caratteristica | Dati Strutturati | Dati Destrutturati |
|---|---|---|
| Definizione | Dati organizzati in campi fissi e schemi rigidi definiti ex-ante (prima dell’inserimento). | Informazioni prive di uno schema o formato predefinito a priori (schemeless). |
| Incidenza nei Big Data | Quota minoritaria (sistemi gestionali tradizionali). | Costituiscono l’80–90% dei Big Data generati da IoT, social media e dispositivi mobili. |
| Esempi Tipici | Tabelle di database relazionali SQL (anagrafiche, contabilità, ordini). | File di testo, e-mail, registrazioni vocali, feed video di sorveglianza, dati biometrici, pagine web, log di calcolo, letture di sensori. |
| Tecnologia di Storage | Database Relazionali (RDBMS / SQL). | Datastore non relazionali (NoSQL: Key-Value, Documenti, Column-Family, Grafi). |
| Modalità di Analisi | Query SQL strutturate e operazioni di JOIN. | Richiedono di evitare rigidi JOIN a favore di scalabilità orizzontale e algoritmi avanzati di NLP (Natural Language Processing), Computer Vision e Text Mining. |
L’esplosione dei volumi e la necessità di operare con latenze di pochi millisecondi determinano due trasformazioni architetturali profonde:
Paradigma Tradizionale (Passivo)
Store ➔ Analyze ➔ Notify ➔ Act
Il dato viene prima salvato su disco, poi interrogato a posteriori per generare una notifica e infine intraprendere un’azione.
Paradigma Big Data / IoT (Reattivo)
Analyze ➔ Act ➔ Notify ➔ Store
Il flusso viene analizzato in transito (in-motion), l’azione correttiva scatta istantaneamente, si invia la notifica e infine si storicizza il dato.
L’adozione di architetture Big Data comporta tuttavia quattro criticità strutturali che devono essere governate:
Per estrarre valore dai dati esistono due macro-approcci complementari ma profondamente diversi per orizzonte temporale, strumenti e obiettivi: la Business Intelligence tradizionale e la Advanced Analytics.
| Dimensione di Analisi | Business Intelligence (BI) Tradizionale | Advanced Analytics |
|---|---|---|
| Finalità Principale | Applicazioni, infrastrutture e strumenti per accedere e analizzare le fonti dati ottimizzando il supporto decisionale. | Tecniche di analisi quantitativa avanzate per evidenziare andamenti nascosti (pattern) e generare raccomandazioni. |
| Natura dei Dati | Dati storici e consolidati, strutturati all’interno di database relazionali e Data Warehouse. | Dati storici e flussi in tempo reale, sia strutturati sia destrutturati o semi-strutturati. |
| Prospettiva Temporale | Orientata al passato e al monitoraggio consuntivo. | Proiettata verso il futuro tramite modellazione predittiva e simulazione di scenari. |
| Tecniche Utilizzate | Query tradizionali, reportistica ad hoc, cruscotti direzionali (dashboard) e analisi OLAP. | Data/Text Mining, Machine Learning, Sentiment Analysis, Graph Analysis ed esplorazione estensiva. |
| Domande Guida | “Cosa è successo?” “Con quale frequenza si è verificato un determinato evento?” | “Cosa accadrà in futuro?” “Qual è la migliore azione da intraprendere?” |
Come sottolineato a lezione, i metodi di analisi dei dati si collocano lungo una scala evolutiva crescente di complessità e automazione:
Descriptive Analytics (Analisi Descrittiva)
Predictive Analytics (Analisi Predittiva)
Prescriptive Analytics (Analisi Prescrittiva)
Automated Analytics (Analisi Automatizzata)
Alla base del passaggio dalla BI tradizionale all’Advanced Analytics vi è la distinzione statistica tra Analisi Descrittiva e Analisi Inferenziale:
Analisi Descrittiva (Statistica di Base)
Analisi Inferenziale (Data Mining)
Lo sviluppo di una soluzione di Machine Learning non è mai un percorso lineare, bensì un processo fortemente iterativo che richiede continui passaggi di prova, errore, valutazione e messa a punto (tuning).
Flussogramma del Ciclo di Sviluppo ML
7–8. Model Implementation & Monitoring
Le 8 fasi che compongono il ciclo di sviluppo sono:
Data Preparation (Preparazione dei Dati)
Pulizia dei dati grezzi, trasformazione in formato strutturato, gestione dei valori nulli (null) e rimozione del rumore statistico, estraendo un campione rappresentativo.
Training Set (Learning Data)
Partizionamento della banca dati per creare il sottoinsieme effettivamente somministrato all’algoritmo per l’addestramento (affinché il sistema calcoli e parametrizzi i propri pesi/regole).
Test Set (Reserved Test Data)
Creazione di un secondo sottoinsieme indipendente e separato di dati, che non viene mai mostrato al modello durante l’addestramento ma viene conservato per valutarne le reali prestazioni finali.
Ciclo di Valutazione (Learning Process)
Scelta dell’algoritmo (Selected Algorithm) più idoneo al problema e test preliminare sui dati di apprendimento per generare un modello candidato (Model Candidate), intervenendo su Model Selection, Model Refinement, Feature Selection e Model Tuning.
Validazione
Se le prestazioni ottenute sui dati di training risultano sufficienti si procede al banco di prova del Test Set; in caso contrario si modifica iperparametrizzazione o si cambia algoritmo.
Valutazione Finale (Model Evaluation)
Il modello candidato viene testato sul Test Set separato (dati con i quali non è mai stato addestrato) per simulare il comportamento in produzione. In caso di esito negativo si ritorna alla scelta e all’affinamento dell’algoritmo.
Messa in Esercizio (Model Implementation / Deployment)
Una volta superata la valutazione finale, il modello validato viene rilasciato operativamente (deployment) all’interno della piattaforma aziendale.
Monitoraggio Continuo e Fine-Tuning
Controllo costante del modello durante l’esercizio reale per verificare che la qualità delle predizioni non si deteriori nel tempo e per effettuare eventuali riaddestramenti o fine-tuning.
I modelli di Machine Learning si suddividono in due grandi paradigmi in base alla modalità di addestramento:
| Caratteristica | Apprendimento Supervisionato (Supervised) | Apprendimento Non Supervisionato (Unsupervised) |
|---|---|---|
| Dati di Input in Training | Presenza di Ground Truth: forniamo alla macchina coppie di input e output desiderato (etichetta, label o target). | Assenza di Etichette: forniamo alla macchina esclusivamente dati grezzi di input, senza risposte corrette a priori. |
| Obiettivo dell’Algoritmo | Apprendere una funzione di mappatura capace di associare correttamente nuovi input agli output attesi. | Scoprire autonomamente la struttura latente, le somiglianze o i pattern nascosti intrinseci ai dati stessi. |
| Categorie Principali | 1. Classificazione (output discreto) 2. Regressione (output continuo) | 1. Clustering (raggruppamento) 2. Associazione (regole di co-ricorrenza) |
Nelle infrastrutture Internet of Things (IoT), migliaia o milioni di sensori generano ininterrottamente dati in movimento (Data in Motion). Per gestire questi flussi si confrontano due modelli architetturali:
Architettura Device-Network-Cloud (Centralizzata)
Architettura Device-Gateway-Network-Cloud (Fog / Edge)
La distribuzione del calcolo tra periferia (Fog) e centro (Cloud) dipende strettamente dal requisito di latenza e dal tipo di operazione richiesta (M2M — Machine-to-Machine vs. P2M — Person-to-Machine):
| Livello Architetturale | Latenza / Orizzonte | Tipologia di Dati | Livello Analitico | Interazione e Finalità Operativa |
|---|---|---|---|---|
| Fog (Bordo estremo) | Milliseconds to sub-seconds (Latenza bassissima) | Read Fog Sensors & Devices (Dati operativi e non operativi) | High speed / low latency real-time analytics | M2M: Sistemi automatici di protezione e controllo critico (Protection and control systems). |
| Fog Intermedio | Seconds to sub-minutes (Latenza media) | Dati operativi aggregati sul gateway | Medium speed / medium latency real-time analytics | P2M / M2M: Sistemi di visualizzazione operativa e controllo di processo. |
| Livello Tecnico / Storico | Minutes to days | Historical data (Dati storici consolidati) | Transactional analytics (Technical operations) | P2M / M2M: Sistemi di reportistica tecnica e monitoraggio dei processi. |
| Cloud Centrale | Days to months (Latenza molto elevata) | Business data repository (Data Warehouse / Lake) | Business Intelligence (Enterprise operations) | P2M: Key Performance Indicators (KPI), dashboards direzionali e report strategici. |
La progettazione di qualsiasi architettura IoT deve necessariamente fare i conti con tre vincoli fisici e infrastrutturali stringenti:
Energia / Batteria
Banda di Rete
Latenza / Delay
Come può un’organizzazione combinare la necessità di analizzare immensi archivi storici (che richiedono elaborazioni pesanti e accurate) con l’esigenza di reagire in pochi millisecondi ai nuovi flussi di dati in ingresso? La risposta ingegneristica è l’Architettura Lambda.
L’Architettura Lambda sdoppia il flusso dei dati in entrata (New Data) su due percorsi paralleli che vengono poi ricongiunti in fase di interrogazione:
Acquisisce i flussi di New Data in tempo reale e li invia contemporaneamente sia al Batch Layer sia allo Speed Layer.
Gestisce il Master Data storico immutabile ed esegue ricalcoli periodici (Batch Recompute) generando le Precompute / Batch Views.
Elabora lo stream continuo (Process Stream) con aggiornamenti incrementali a bassissima latenza (Real-time Increment) creando le Real-time Views.
Intercetta le Query ed effettua il Merge istantaneo tra Batch Views e Real-time Views, restituendo risultati completi e aggiornati.
All’interno dell’Architettura Lambda, tre tecnologie open source dell’ecosistema Apache svolgono i ruoli chiave di Ingestion, Store e Compute:
Ingestion: Apache Kafka
Store: Apache Cassandra
Compute: Apache Spark
L’impiego di architetture Big Data e di algoritmi di Intelligenza Artificiale non può prescindere dal rispetto dei vincoli normativi posti a tutela dei diritti fondamentali dei cittadini.
Come evidenziato a lezione, i due pilastri normativi di riferimento sono il GDPR (General Data Protection Regulation, Reg. UE 2016/679) e l’AI Act (Reg. UE 2024/1689):
Per progettare e mantenere una piattaforma Big Data conforme al Regolamento UE 2016/679 (GDPR) è necessario soddisfare specifici requisiti giuridici e tecnici:
⚖️ Adempimenti Giuridici GDPR
🛡️ Checklist di Conformità Tecnica & Sicurezza