Word2Vec

1. utile per una DNN

1. rappresentazione distribuita
   1. rappresentazioni solo 1-to-N sono poche informative
   2. tante dimensioni che rappresentano "features"
   3. similitudine tra le "feature"
      1. con le operazioni giuste posso trovare similitudine SEMANTICHE E SINTATICHE
         1. es.: [vector(“King”) - vector(“man”) + vector(“woman”)]
         2. cosine distance

1. codifica le parole in vettori: non si usano string (of course)
2. si cerca di ricostruire ciò che è dato come input
3. funzione per la codifica e per la decodifca: noi abbiamo solo encoding

Attachments:

• Word Embedding approaches

1. Continuous Bag of Words
   1. corpus; vocabolario; frasi; parola target; contesto.
   2. Modello - 3 layers: Input, Hidden, Output
      1. INPUT: contesto
      2. OUTPUT: parola focus
      3. Obiettivo: Massimizzare la probabilità condizionata
      4. HIDDEN: media
         1. "C" input, somma delle linne "1" e divisione per C
         2. funzione di attivazione lineare
2. Skip-gram
   1. Modello - 3 layers: Input, Hidden, Output
   2. INPUT: parola focus
   3. OUTPUT: contesto
   4. Obiettivo: massimizzare l'average log probability - contesti >> parola
      1. T = lunghezza sentenza (w1,w2,...,wT)
      2. c = lunghezza max. contesto
      3. j = indice spostamento
      4. wt = parola centrale
      5. Calcolo della probabilità p( wt+j | wt )
         1. softmax
            1. Pro: semplice
            2. Contro: Costo comp. proporzionale alla dim. vocabolario (C)
         2. hierarchical softmax
            1. limita n° vettori output che sono aggiornati
            2. rappresentazione in albero binario
            3. Pro: invece di valutare "v" parole per vettore (C*v), valuto log(v)
         3. negative sampling