Im Abschnitt zuvor haben wir besprochen, dass die Methode der kleinsten Quadrate zur Kostenfunktion
führt, die es zu minimieren gilt. Dabei ist die Modellfunktion mit den zu bestimmenden Parametern . Bei der logistischen Regression verwendet man jedoch folgende Kostenfunktion:
Auf den ersten Blick ist es keineswegs ersichtlich, warum diese Beschreibung eine sinnvolle Kostenfunktion ergibt. Um sich dies etwas plausibel zu machen, dient der folgende Exkurs, der jedoch insbesondere Kenntnisse der Logarithmus-Funktion als bekannt voraussetzt. Zusammenfassend:
Wichtig ist die Erkenntnis, dass wir eine sinnvolle Kostenfunktion definiert haben, die mit üblichen Mitteln der numerischen Mathematik minimiert werden kann.
Zudem sei bemerkt, dass die Formulierung der Kostenfunktion in der Statistik als Maximum-Likelihood-Methode bekannt ist.