Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revision | Next revisionBoth sides next revision | ||
data_mining:large_datasets [2014/09/06 14:27] – [Stochastic gradient descent] phreazer | data_mining:large_datasets [2014/09/06 14:30] – [Stochastic gradient descent] phreazer | ||
---|---|---|---|
Line 38: | Line 38: | ||
Plotten der Kostenfunktion als Funktion der Zahl von Iterationen. | Plotten der Kostenfunktion als Funktion der Zahl von Iterationen. | ||
- | $\cost(\theta, | + | $\text{cost}(\theta, |
Berechnen dieser Kosten vor updaten von \theta. | Berechnen dieser Kosten vor updaten von \theta. | ||
Jede 1000 Iterationen plotte Kostenfkt. im Mittel über letzte 1000 Beispiele. | Jede 1000 Iterationen plotte Kostenfkt. im Mittel über letzte 1000 Beispiele. | ||
- | === Alpha === | ||
+ | 1000 Kurve mit Noise. 5000, glatter aber nur alle 5000 ein Punkt. | ||
+ | |||
+ | Wenn Kurve ansteigt => Divergenz => kleineres Alpha wählen. | ||
+ | === Alpha === | ||
==== Mini-Batch Gradient Descent ==== | ==== Mini-Batch Gradient Descent ==== |