Introduzione a Metodi di riduzioni della Dimensionalità ed elementi di Algebra lineare [Parte 2]
Autore: Matteo Alberti
Sommario
Metodi lineari per la riduzione: 2
Identificazione attraverso l’individuazione di sottospazi 2
Approssimazioni Matriciali per la riduzione. 10
Casi di applicazione base: Decomposizione in Valori Singolari (SVD). 11
Casi di applicazione base: Analisi dei Cluster. 16
Distanze di Minkowski (Manhattan, Euclidea, Lagrange). 16
Lo scopo di questo primo tutorial è di introdurre le nozioni base di riduzione della dimensionalità dal punto di vista matematico (spazi, sottospazi, mappe lineari) e di riprendere gli elementi necessari di algebra lineare (norme, isometria, isomorfismo…) per ogni algoritmo di machine learning.
Norme Matriciali
Abbiamo a questo punto impostato il problema della riduzione della dimensionalità dei dati come un problema di approssimazione tra matrici, dobbiamo a questo punto andar a stabilire valutare e quindi calcolare la distanza fra la matrice dei dati originari e quella approssimante attraverso lo studio delle differenti norme:
Esistono tre principali tipologie di norme:
- Norme vettoriali
- Norme indotte
- Norme di Schatten
Dove nel campo dell’analisi dei dati essenzialmente ci si riconduce, salvo eccezioni, alla norma di Frobenius (distanza euclidea)
Elementi di algebra:
Norma
Una norma (comunemente contrassegnata con ) è una funzione dallo spazio vettoriale delle matrici se:
Norme vettoriali
La famiglia delle norme vettoriali trattano la matrice come un vettore di
componenti dove possiamo definire la norma utilizzando una delle qualsiasi norme seguenti:
Nota:
Ponendo p=2 ci si ricollega alla norma euclidea
Norme indotte
Una matrice può essere vista come un operatore lineare da
.
Misurando in le lunghezze con una norma fissata e facciamo altrettanto in
, con una differente norma, possiamo andare a misurare quanto X allunga o accorcia un vettore , confrontando la norma di v
con la relativa norma della sua immagine Xv.
La norma indotta risulta definita come:
Norme di Schatten
La norma di Schatten, di ordine p, di una matrice X è data semplicemente da:
Dove sono i valori singolari
Norma di Frobenius
La norma di Frobenius della nostra matrice di partenza è data da:
Andando a svolgere i conti, esplicitando il prodotto matriciale si ottiene:
Ne corrisponde che la norma di Frobenius è pari alla radice quadrata della somma del quadrato degli elementi ossia una norma euclidea vista come un vettore che coincide con la norma vettoriale di X di ordine 2.
Elementi di algebra:
Traccia
L’operatore traccia, indicata con Tr , è definita come la somma degli elementi diagonali della matrice argomento
Casi di applicazione base: Analisi dei Cluster
La cluster analysis e’ una tecnica di analisi multivariata attraverso la quale e’ possibile raggruppare le unità statistiche, in modo da minimizzare la “lontananza logica” interna a ciascun gruppo e di massimizzare quella tra i gruppi.
Rientra fra le tecniche di apprendimento non supervisionato.
Nasce quindi spontaneo dover definire che cosa si intende per lontananza logica ed in base a quale metrica.
Definizione di metrica
Sia ed
definiamo metrica una funzione tale che
U
che goda delle seguenti proprietà:
non negativa
simmetria
identità
diseguaglianza triangolare
Distanze di Minkowski (Manhattan, Euclidea, Lagrange)
Andiamo a questo punto ad analizzare i casi principali delle distanze appartenenti alla famiglia delle distanze di Minkowski dove:
Evidenziamo i seguenti casi:
Distanza di Manhattan
Distanza Euclidea
Distanza Lagrangiana (Čebyšëv)
In particolare:
Riprendendo dunque con l’esempio della Cluster Analysis, risulta fondamentale quindi definire il tipo di distanza con cui vogliamo affrontare la nostra analisi.
Principalmente nei pacchetti già implementati si trovano le tre varianti delle distanze di Minkowski (per variabili quantitative)
Importando da sklearn:
AgglomerativeClustering(n_clusters=2, affinity=’euclidean’, memory=None, connectivity=None, compute_full_tree=’auto’, linkage=’ward’