Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revisionLast revisionBoth sides next revision | ||
data_mining:large_datasets [2014/09/06 14:30] – [Stochastic gradient descent] phreazer | data_mining:large_datasets [2014/09/06 14:41] – phreazer | ||
---|---|---|---|
Line 38: | Line 38: | ||
Plotten der Kostenfunktion als Funktion der Zahl von Iterationen. | Plotten der Kostenfunktion als Funktion der Zahl von Iterationen. | ||
- | $\text{cost}(\theta, | + | $\text{cost}(\theta, |
Berechnen dieser Kosten vor updaten von \theta. | Berechnen dieser Kosten vor updaten von \theta. | ||
Jede 1000 Iterationen plotte Kostenfkt. im Mittel über letzte 1000 Beispiele. | Jede 1000 Iterationen plotte Kostenfkt. im Mittel über letzte 1000 Beispiele. | ||
Line 46: | Line 46: | ||
Wenn Kurve ansteigt => Divergenz => kleineres Alpha wählen. | Wenn Kurve ansteigt => Divergenz => kleineres Alpha wählen. | ||
=== Alpha === | === Alpha === | ||
+ | Langsam \alpha senken, um zu konvergieren. | ||
==== Mini-Batch Gradient Descent ==== | ==== Mini-Batch Gradient Descent ==== | ||
Verwende b = mini-batch size (typisch: 2-100) | Verwende b = mini-batch size (typisch: 2-100) | ||
+ | ===== Online Learning ===== | ||
+ | Lernen von $p(y=1|x; | ||