Machine Learning
Formulario della materia 112 definizioni e teoremi in una pagina
Argomenti
IIntroduzione e dati
- Introduzione al machine learning
- Statistica per il machine learning
- Python per il machine learning - NumPy, pandas e Matplotlib
- Correlazione e visualizzazione dei dati
- Analisi delle componenti principali (PCA)
Esercizi svolti
- Esercizio - Analisi esplorativa e preprocessing - macchinario, abitazioni, case di Ames e incendi Esame
- Esercizio - Analisi esplorativa e preprocessing di un dataset sbilanciato (Adult) Esame
- Esercizio - Correlazione di Pearson su tre e quattro osservazioni
- Esercizio - PCA da zero sul dataset California Housing
- Esercizio - Statistica descrittiva, quartili e standardizzazione di un dataset
- Esercizio - Test di esempio della parte teorica (simulazione d'esame)
IIRegressione
Esercizi svolti
- Esercizio - Cross-validation annidata con alberi (laboratorio di ripasso)
- Esercizio - Cross-validation annidata per il LASSO sul dataset prostate
- Esercizio - Cross-validation k-fold e Monte Carlo per OLS e ridge sul dataset Advertising
- Esercizio - Discesa del gradiente per il LASSO e scelta del passo
- Esercizio - OLS, R quadro e aumento polinomiale delle feature
- Esercizio - Regressione ai minimi quadrati su quattro punti
- Esercizio - Regressione quantile con funzione pinball e discesa del gradiente Esame
- Esercizio - Ridge regression con standardizzazione e coefficienti in unità originali
IIIClassificazione
- Classificazione e k-nearest neighbors
- Regressione logistica e softmax
- Metriche di classificazione
- Halfspace e Perceptron
Esercizi svolti
- Esercizio - Curva ROC e AUC di una foresta casuale e di un albero
- Esercizio - Halfspace, distanza dal piano e problema XOR
- Esercizio - k-nearest neighbors da zero sul dataset breast cancer
- Esercizio - Metriche di classificazione da una matrice di confusione
- Esercizio - Perceptron a mano su quattro punti
- Esercizio - Pseudo-etichette con k-NN e regressione logistica Esame
- Esercizio - Regressione logistica one-vs-one e one-vs-all sul dataset iris
- Esercizio - Regressione logistica su sei punti con discesa del gradiente
IVAlberi e metodi ensemble
Esercizi svolti
- Esercizio - Albero di decisione con criteri di impurità e potatura sul dataset iris
- Esercizio - Albero di decisione ID3 sul dataset del tennis
- Esercizio - Balanced random forest (laboratorio di ripasso)
- Esercizio - Gradient boosting per la regressione sul dataset housing
- Esercizio - ID3 con potatura e foresta casuale sul dataset Titanic
- Esercizio - Importanza delle feature di un albero sul dataset wine
VApprendimento non supervisionato
Esercizi svolti
- Esercizio - Albero di isolamento passo per passo (laboratorio di ripasso)
- Esercizio - Clustering gerarchico agglomerativo e divisivo Esame
- Esercizio - Isolation forest da zero e anomalie sul dataset delle abitazioni Esame
- Esercizio - k-means a mano e gap statistic su cinque gruppi
- Esercizio - k-means online e con buffer a memoria limitata Esame
- Esercizio - Regressione lineare a tratti con k-means Esame
- Esercizio - Statistica T2 di Hotelling e soglia chi quadro
VISupport vector machines
VIIReti neurali e deep learning
- Reti neurali - neuroni e funzioni di attivazione
- Addestramento delle reti neurali - backpropagation e ottimizzatori
- Regolarizzazione delle reti neurali
- Reti neurali convolutive (CNN)
- Autoencoder
- Cenni a reinforcement learning e reti per sequenze
Esercizi svolti
- Esercizio - Autoencoder, anomaly detection e KL del VAE
- Esercizio - Backpropagation a mano su una rete 2-2-1
- Esercizio - CNN su Fashion-MNIST e CIFAR-10 con Keras
- Esercizio - Confronto di tecniche di regolarizzazione su MNIST
- Esercizio - Convoluzione 2D a mano
- Esercizio - Dimensioni e parametri di una CNN
- Esercizio - Discesa del gradiente, momento e Adam a mano
- Esercizio - Forward pass e conteggio dei parametri di una rete Esame
- Esercizio - Keras e PyTorch a confronto
- Esercizio - Rete feed-forward su dati tabulari sbilanciati (appello) Esame
- Esercizio - Rete feed-forward su MNIST con Keras