Autore: Matteo Alberti

Sommario

Identificazione attraverso l’individuazione di sottospazi 2

Approssimazioni Matriciali per la riduzione. 10

Casi di applicazione base: Decomposizione in Valori Singolari (SVD). 11

Norme Matriciali 11

Norme vettoriali 13

Norme indotte. 13

Norme di Schatten. 13

Norma di Frobenius. 13

Casi di applicazione base: Analisi dei Cluster. 16

Definizione di metrica. 16

Distanze di Minkowski (Manhattan, Euclidea, Lagrange). 16

Lo scopo di questo primo tutorial è di introdurre le nozioni base di riduzione della dimensionalità dal punto di vista matematico (spazi, sottospazi, mappe lineari) e di riprendere gli elementi necessari di algebra lineare (norme, isometria, isomorfismo…) per ogni algoritmo di machine learning.

Norme Matriciali

Abbiamo a questo punto impostato il problema della riduzione della dimensionalità dei dati come un problema di approssimazione tra matrici, dobbiamo a questo punto andar a stabilire valutare e quindi calcolare la distanza fra la matrice dei dati originari e quella approssimante attraverso lo studio delle differenti norme:

Esistono tre principali tipologie di norme:

Norme vettoriali
Norme indotte
Norme di Schatten

Dove nel campo dell’analisi dei dati essenzialmente ci si riconduce, salvo eccezioni, alla norma di Frobenius (distanza euclidea)

Elementi di algebra:

Norma

Una norma (comunemente contrassegnata con ) è una funzione dallo spazio vettoriale delle matrici se:

Norme vettoriali

La famiglia delle norme vettoriali trattano la matrice $X_n_x_k$ come un vettore di $nk$ componenti dove possiamo definire la norma utilizzando una delle qualsiasi norme seguenti:

Nota:

Ponendo p=2 ci si ricollega alla norma euclidea

Norme indotte

Una matrice $X_n_x_k$ può essere vista come un operatore lineare da $R^k \mapsto R^n$ .

Misurando in $R^k$ le lunghezze con una norma fissata e facciamo altrettanto in $R^n$ , con una differente norma, possiamo andare a misurare quanto X allunga o accorcia un vettore , confrontando la norma di v $\in R^k$ con la relativa norma della sua immagine Xv.

La norma indotta $\parallel X \parallel _k _n$ risulta definita come:

Norme di Schatten

La norma di Schatten, di ordine p, di una matrice X è data semplicemente da:

Dove $\omega_i$ sono i valori singolari

Norma di Frobenius

La norma di Frobenius della nostra matrice $X_n_x_k$ di partenza è data da:

Andando a svolgere i conti, esplicitando il prodotto matriciale si ottiene:

Ne corrisponde che la norma di Frobenius è pari alla radice quadrata della somma del quadrato degli elementi ossia una norma euclidea vista come un vettore che coincide con la norma vettoriale di X di ordine 2.

Elementi di algebra:

Traccia

L’operatore traccia, indicata con Tr $\left ( . \right )$ , è definita come la somma degli elementi diagonali della matrice argomento

Casi di applicazione base: Analisi dei Cluster

La cluster analysis e’ una tecnica di analisi multivariata attraverso la quale e’ possibile raggruppare le unità statistiche, in modo da minimizzare la “lontananza logica” interna a ciascun gruppo e di massimizzare quella tra i gruppi.

Rientra fra le tecniche di apprendimento non supervisionato.

Nasce quindi spontaneo dover definire che cosa si intende per lontananza logica ed in base a quale metrica.

Definizione di metrica

Sia $X^-\in R^p$ ed $Y^-\in R^p$ definiamo metrica una funzione tale che $R^p x R^p\mapsto R^+$ U $\left \{ 0 \right \}$

che goda delle seguenti proprietà:

$d \left ( X^-, Y^- \right ) \geq O$ non negativa
$d \left ( X^-, Y^- \right ) = d \left ( Y^-,X^- \right )$ simmetria
$d \left ( X^-, Y^- \right ) = 0 \leftrightarrow X= Y$ identità
$d \left ( X^-, Y^- \right ) \leq d \left ( X^-, Z^- \right ) + d \left ( Z^-, X^- \right )$ diseguaglianza triangolare

Distanze di Minkowski (Manhattan, Euclidea, Lagrange)

Andiamo a questo punto ad analizzare i casi principali delle distanze appartenenti alla famiglia delle distanze di Minkowski dove:

Evidenziamo i seguenti casi:

$k=1$ Distanza di Manhattan
$k=2$ Distanza Euclidea
$k\rightarrow \infty$ Distanza Lagrangiana (Čebyšëv)

In particolare:

Riprendendo dunque con l’esempio della Cluster Analysis, risulta fondamentale quindi definire il tipo di distanza con cui vogliamo affrontare la nostra analisi.

Principalmente nei pacchetti già implementati si trovano le tre varianti delle distanze di Minkowski (per variabili quantitative)

Importando da sklearn:

AgglomerativeClustering(n_clusters=2, affinity=’euclidean’, memory=None, connectivity=None, compute_full_tree=’auto’, linkage=’ward’