Large Dataset

Wie kann man feststellen, ob ein Algo mit mehr Daten besser funktioniert?

Plotten einer Learning Curve für verschiedene m. Wenn Algorithmus hohe Varianz bei kleinem m hat, ist dies der Fall.

Learning Curve:

• x: Größe Trainingsset
• y: Fehler

Plotten von

• J_CV(theta)
• J_train(theta)

• Wenn Lücke ⇒ High Variance (Mehr Daten)
• Wenn nah beieinander ⇒ High Bias (Mehr Hidden units, mehr Features zur Verbesserung)

“Batch” - Alle Trainingsbeispiele berücksichtigen (also m).

1. Randomly shuffle dataset
2. Repeat {
     for i=1, ..., m
       for j=0, ..., n
         theta_j = theta_j - alpha (h_theta(x^{(i)}-y^{(i)})x_j^(i)
       }
      }
    }

Wandert in die Nähe des globalen Minimums. Mehrfache Ausführung von 2.

Verwende b = mini-batch size (typisch: 2-100) Beispiele in jeder Iteration.