Información mutua

En teoría de la probabilidad, y en teoría de la información, la información mutua o transinformación de dos variables aleatorias es una cantidad que mide la dependencia mutua de dos variables. La unidad de medida más común de información mutua es el bit, ya que suelen ser usados logaritmos de base dos.

Definición de información mutua

Formalmente, la información mutua de dos variables aleatorias discretas X e Y puede definirse como:

$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left( \frac{p(x,y)}{p_1(x)\,p_2(y)} \right) }, \,\!$

donde p(x,y) es la función de distribución de probabilidad conjunta de X e Y, y p₁(x) y p₂(y) son las funciones de distribución de probabilidad marginal de X e Y respectivamente.

En el caso continuo, reemplazamos la suma con una integral doble definida:

$I(X;Y) = \int_Y \int_X p(x,y) \log{ \left( \frac{p(x,y)}{p_1(x)\,p_2(y)} \right) } \; dx \,dy,$

donde p(x,y) es de nuevo la función de distribución de probabilidad conjunta de X e Y, y p₁(x) y p₂(y) son las distribuciones de probabilidad marginales de X e Y respectivamente.

Estas definiciones son ambigüas porque la base del logaritmo no se ha especificado. Para evitarlo, la función I puede parametrizarse como I(X,Y,b) donde b es la base. Alternativamente, como la unidad de medida más común de información mutua es el bit, se puede especificar base 2.

Intuitivamente, la información mutua mide la información que X e Y comparten: mide en cuánto el conocimiento de una variable reduce nuestra incertidumbre sobre la otra. Por ejemplo, si X e Y son independientes, entonces conocer X no da información sobre Y y viceversa, por lo que su información mutua es cero. En el otro extremo, si X e Y son idénticas entonces toda información proporcionada por X es compartida por Y: saber X determina el valor de Y y viceversa. Por ello, la información mutua es igual a la información contenida en Y (o X) por sí sola, también llamada la entropía de Y (o X: claramente si X e Y son idénticas tienen idéntica entropía).

La información mutua cuantifica la dependencia entre la distribución conjunta de X e Y y la que tendrían si X e Y fuesen independientes. La información mutua es una medida de dependencia en el siguiente sentido: I(X; Y) = 0 si y sólo si X e Y son variables aleatorias independientes. Esto es fácil de ver en una dirección: si X e Y son independientes, entonces p(x,y) = p(x) p(y), y por tanto:

$\log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0. \,\!$

Además, la información mutua es positiva o nula (i.e. I(X;Y) ≥ 0) y simetrica (i.e. I(X;Y) = I(Y;X)).