Die Mathematik hinter der logistischen Regression

Blog

Haben Sie sich jemals gefragt, wie logistische Regression funktioniert und wie die Verlustfunktion durch Gradientenabstieg minimiert wird? Wenn ja, mach dich bereit! Dieser Artikel ist für Sie. Bevor Sie mit der logistischen Regression beginnen, ist es wichtig zu verstehen, was überwachtes Lernen ist. Beim überwachten Lernen wird das Modell auf einem Datensatz trainiert, der eine Zielspalte (Ausgabe) enthält. Nach dem Trainieren des Modells kann es verwendet werden, um die Ausgabe unsichtbarer Daten vorherzusagen. Ein klassisches Beispiel ist ein Lehrer, der dem Schüler ein Konzept beibringt und sein Verständnis in einem Test bewertet.



Bild für Beitrag

Google Voice-Login-Konto

Überwachtes Lernen kann grob in Regression und Klassifikation eingeteilt werden. In der Regression ist das Ziel oder die Ausgabe eine kontinuierliche Variable, während die Ausgabe eines Klassifikationsproblems kategorial ist. Die logistische Regression ist ein linearer Klassifizierungsalgorithmus, der für ein Klassifizierungsproblem hauptsächlich verwendet wird, wenn die Zielvariable (Y) kategorial ist. Beispiele sind das Werfen einer Münze, bei der die Ausgabe Kopf oder Zahl sein kann, die Vorhersage, ob eine Person gesund ist, eine leichte oder schwere Krankheit hat usw.



Die logistische Regression wird aus der linearen Regression abgeleitet, indem ihre Ausgabe mithilfe einer Sigmoidalfunktion transformiert wird. Die lineare Regression hat eine Gleichung der Form Y = a + bX, wobei a ein Achsenabschnitt ist, b die Steigung der Geraden (a und b sind Parameter des Modells) und X die Eingabevariable ist. Y ist eine kontinuierliche Ausgangsvariable und kann zwischen -unendlich und +unendlich variieren. Die logistische Regression gibt Wahrscheinlichkeiten von Y = 1 aus, die zwischen 0 und 1 liegen. Um (-inf +inf) auf (0,1) zu kürzen, wird eine Sigmoidalfunktion verwendet.

Linear Regression: Y = a + bX Logistic Regression: Y = S(a + bX) where S is the Sigmoidal function For convenience, let us take a + bX = Z S(Z) = 1/(1+e^-Z) If Z is large and positive, S(Z) = 1/(1 + 0) = 1 (approx) If Z is large and negative, S(Z) = 1/(1 + large num) = 0 (approx)

Jetzt wissen wir, wie sich die logistische Regression aus der linearen Regression ableitet. Um zu untersuchen, wie gut das Modell funktioniert, berechnen wir die Verlustfunktion. Die Verlustfunktion quantifiziert, wie stark die vorhergesagte Ausgabe von der tatsächlichen Ausgabe abweicht. Je geringer die Verlustfunktion, desto besser ist das Modell. Aber wie finden wir die Verlustfunktion des Modells?



Python-String enthält Groß-/Kleinschreibung
Yp is the predicted output and Ya is the actual output To know: log(1) = 0 Loss Function or cost function: L(Yp,Ya) = -(YalogYp + (1-Ya)log(1-Yp)) If Ya = 1, Yp should be close to 1 to reduce the loss If Ya = 0, Yp should be close to 0 to reduce the loss Let us try substituting it in the equation above: If Ya = 1, L(Yp,Ya) = -(logYp) -----> second term = 0 Substituting Yp = 1, gives L(Yp,Ya) = 0. Inference is larger the value of Yp,lesser is the loss If Ya = 0, L(Yp,Ya) = -(log(1-Yp)) ------> first term = 0 Substituting Yp = 0, gives L(Yp,Ya) = 0. Inference is smaller the value of Yp,lesser is the loss.

#Maschinelles Lernen #Mathe #Neural-Netzwerke #Logistische-Regression #Data-Science #Deep Learning

medium.com

Die Mathematik hinter der logistischen Regression

Haben Sie sich jemals gefragt, wie logistische Regression funktioniert und wie die Verlustfunktion durch Gradientenabstieg minimiert wird? Wenn ja, mach dich bereit!