Kullback-Leibler-Divergenz: Wie Informationen messen, wo Unsicherheit liegt
Die Kullback-Leibler-Divergenz (KL-Divergenz) ist ein zentrales Konzept der Informationstheorie und Physik, das den Informationsunterschied zwischen zwei Wahrscheinlichkeitsverteilungen quantifiziert. Anders als die Shannon-Entropie misst sie keine absolute Unsicherheit, sondern die relative…
