Metodi Statistici per l'Apprendimento

metodi statistici per l'apprendimento

F94, 6 crediti, laurea magistrale in Informatica, secondo semestre
DOCENTE: Nicolò Cesa-Bianchi

Orario lezioni:

Lunedì 16:30-18:30, auletta 6
Martedì 16:30-18:30, auletta 6

Materiale bibliografico:

Il materiale sarà fornito dal docente sotto forma di dispense integrate da riferimenti bibliografici.

Per colmare eventuali lacune in calcolo delle probabilità e statistica e ottimizzazione non lineare si consiglia la consultazione dei testi seguenti:

Paolo Baldi, Calcolo delle probabilità e statistica (seconda edizione). McGraw-Hill, 1998.
Vincenzo Capasso e Daniela Morale, Una guida allo studio della probabilità e statistica matematica. Società editrice Esculapio, 2009.
Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability (2nd edition). Athena Scientific, 2008.
Marco Trubian, Dispensa del Corso di Complementi di Ricerca Operativa.

Obiettivi: L'apprendimento automatico si occupa dello sviluppo di algoritmi per la costruzione di modelli predittivi sulla base di un insieme di osservazioni relative ad un dato fenomeno. L'apprendimento automatico è diventato uno strumento standard nelle applicazioni industriali di analisi intelligente dei dati ed è stato applicato a domini come il web, la visione, il linguaggio naturale, la biologia, e molti altri. Il corso si propone di descrivere e analizzare in termini statistici le più diffuse tecniche di apprendimento automatico, fornendo allo studente un insieme di strumenti metodologici volti alla comprensione qualitativa e quantitativa del fenomeno dell'apprendimento nelle macchine.

Programma preliminare:

Classificazione binaria e algoritmi di apprendimento
L'algoritmo nearest neighbor
Classificatori ad albero
Minimizzazione del rischio empirico e overfitting
Modello statistico di apprendimento
Classificatore Bayesiano ottimo
Analisi del rischio statistico
Classificatori lineari e funzioni kernel
Discesa del gradiente e boosting
Analisi mistake bounded e sua relazione col rischio statistico
Cenni a problemi multiclasse e multietichetta
Riduzione di dimensionalità: SVD, PCA, LSI, proiezioni casuali

Esami

L'esame consiste in un approfondimento teorico oppure un progetto pratico. In entrambi i casi bisogna mettersi prima d'accordo col docente. Lo studente è incoraggiato a proporre lui stesso un tema che gli interessa in modo specifico.
L'approfondimento teorico è una breve relazione (una decina di pagine) su un argomento a scelta fra quelli svolti a lezione. La relazione deve occuparsi degli aspetti concettuali e formali del problema scelto fornendo la descrizione completa e dettagliata di almeno un risultato, incluse definizioni e dimostrazione formale completa di dettagli tecnici. Una possibile scaletta è la seguente:

Introduzione e inquadramento dell'argomento
Notazione e definizioni rilevanti
Dimostrazione di un risultato tecnico
Considerazioni critiche.

Il progetto pratico consiste nello sviluppo di un software che implementi uno o più algoritmi di apprendimento, o varianti di uno stesso algoritmo, o un unico algoritmo con differenti valori dei suoi parametri. L'algoritmo deve essere poi sperimentato su dati reali (forniti dal docente, o proposti dallo studente). Il linguaggio utilizzato non è importante, basta che il programma funzioni con requisiti di tempo e memoria ragionevoli. La descrizione degli algoritmi e dei dataset e i risultati sperimentali presentati in forma in tabelle e/o grafici devono essere inclusi in un documento che verrà presentato all'esame.
L'approfondimento teorico e il progetto pratico, una volta ultimati, sono discussi col docente che completerà l'orale con domande generali sul resto del programma.

Avvisi:

Le note in pdf relative a ciascuna lezione vengono linkate in fondo ai riassunti nel calendario circa una settimana dopo lo svolgimento della lezione.

Sfogliate le pagine del calendario e cliccate sulle date per trovare i riassunti e le date delle prossime lezioni. Cliccate poi su "altri dettagli" per avere la formattazione corretta.