Perplejidad

Perplejidad

Perplejidad

Perplejidad es una medida utilizada en la teoría de la información. Se define como 2 elevado a la entropía, o más a menudo como 2 elevado a la entropía cruzada. La última definición es usada frecuentemente en la comparación empírica de modelos probabilísticos.

Contenido

Perplejidad de una distribución de probabilidad

La perplejidad de una distribución de probabilidad discreta p se define como

2^{H(p)}=2^{-\sum_x p(x)\log_2 p(x)}

donde H(p) es la entropía de la distribución y x varía entre los distintos eventos.

Asimismo se puede definir la perplejidad de una variable aleatoria X como la perplejidad de la distribución para todos los posibles valores de x.

Perplejidad de un modelo probabilístico

A menudo se intenta extraer un modelo de una distribución de probabilidad desconocida p, basándose en un conjunto de entrenamiento generado por p. Dado un modelo probabilístico propuesto q, se puede evaluar q preguntando cómo predice éste otro conjunto separado de prueba x1, x2,..., xN generado también por p. La perplejidad del modelo q se define como

2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}

Los buenos modelos q de la distribución desconocida p tienden a asignar altas probabilidades q(xi) a los eventos de prueba. De esta manera, tendrán una menor perplejidad: se "sorprenden" menos por el conjunto de prueba.

El exponente de la anterior fórmula puede considerarse como el número medio de bits necesarios para representar un evento de prueba xi usando una codificación óptima basada en q. Los modelos con baja perplejidad pueden comprimir mejor el conjunto de prueba, debido a que se necesitan pocos bits de media por cada elemento ya que q(xi) tiende a ser alto.

El exponente puede considerarse también como la entropía cruzada,

H(\tilde{p},q) = -\sum_x \tilde{p}(x) \log_2 q(x)

donde \tilde{p} denota la distribución empírica del conjunto de prueba (p.e., \tilde{p}(x) = n/N si x aparece n veces en un conjunto de prueba de tamaño N).

Perplejidad por palabra

En procesamiento del lenguaje natural, la perplejidad es usada frecuentemente a la hora de evaluar modelos de lenguaje. Un modelo de lenguaje es una distribución de probabilidad sobre un conjunto de textos.

Usando la definición anterior, se puede encontrar que una frase xi en el conjunto de prueba puede ser codificada de media mediante 190 bits (p.e, si las frases de prueba tienen una media de probabilidad logarítmica de 190). Este valor nos daría un valor enorme de perplejidad de 2190 por frase. Sin embargo, es más común normalizar por la longitud de la frase y considerar sólo el número de bits por palabra. De esta manera, si las frases de un conjunto de entrenamiento constan de un total de 1,000 palabras, y éstas se codifican mediante 7,950 bits, se da la perplejidad del modelo como 27.95 = 247 por palabra. En otras palabras, el modelo se confunde en el conjunto de prueba como si tuviese que elegir uniforme e independientemente entre 247 posibilidades por cada palabra.

La menor perplejidad que se ha publicado del Brown Corpus (1 millón de palabras de inglés americano de distintos temas y géneros) es de 247 por palabra, una entropía cruzada de log2247 = 7.95 bits por palabra o 1.75 por letra.[1] Es posible conseguir una menor perplejidad en corpus de textos más especializados, ya que éstos son más predecibles.

Referencias

  1. Brown, Peter E.; et al (March de 1992). «An Estimate of an Upper Bound for the Entropy of English» Computational Linguistics. Vol. 18. n.º 1.
Obtenido de "Perplejidad"

Wikimedia foundation. 2010.

Игры ⚽ Поможем решить контрольную работу
Sinónimos:

Antónimos:

Mira otros diccionarios:

  • perplejidad — sustantivo femenino 1. (no contable) Confusión o indecisión producida por algo sorprendente e inesperado: Al ver a su madre allí, se quedó mirándola con perplejidad. Me decía tales cosas que me dominaba la perplejidad, no sabía si debía enfadarme …   Diccionario Salamanca de la Lengua Española

  • perplejidad — (Del lat. perplexĭtas, ātis). f. Irresolución, confusión, duda de lo que se debe hacer en algo …   Diccionario de la lengua española

  • perplejidad — ► sustantivo femenino Estado de ánimo de quien se encuentra perplejo o sin saber qué hacer: ■ fue tal su perplejidad al vernos entrar en su despacho que no pudo decir nada. SINÓNIMO asombro * * * perplejidad f. Estado de perplejo. * * *… …   Enciclopedia Universal

  • perplejidad — {{#}}{{LM P30023}}{{〓}} {{SynP30744}} {{[}}perplejidad{{]}} ‹per·ple·ji·dad› {{《}}▍ s.f.{{》}} Duda o confusión del que no sabe qué hacer o qué pensar en una determinada situación: • Vi con perplejidad cómo me robaban el coche delante de mis… …   Diccionario de uso del español actual con sinónimos y antónimos

  • perplejidad — sustantivo femenino vacilación, irresolución, indecisión, indeterminación, duda, titubeo, hesitación, incertidumbre*. ≠ decisión, fe, resolución, despreocupación. «La perplejidad está en el entendimiento cuando se mantiene en una especie de equil …   Diccionario de sinónimos y antónimos

  • Fernando Ampuero — Saltar a navegación, búsqueda Fernando Ampuero Nacimiento 13 de julio de 1949 …   Wikipedia Español

  • Confusión — ► sustantivo femenino 1 Acción y resultado de confundir o equivocar: ■ por una banal confusión le reprendió severamente. SINÓNIMO equivocación error lapsus ANTÓNIMO acierto conocimiento 2 Desorden, mezcla de cosas o personas diversas …   Enciclopedia Universal

  • Alienación — No debe confundirse con alineación. La alienación o enajenación es el fenómeno de suprimir la personalidad, desposeer al individuo de su personalidad o deshacer la personalidad del individuo, controlando y anulando su libre albedrío, para hacer a …   Wikipedia Español

  • Café de Colombia (equipo ciclista) — Saltar a navegación, búsqueda Maillot del Café de Colombia en 1988 Café de Colombia fue un equipo ciclista colombiano profesional que compitió entre los años 1985 y 1990, con el patrocinio de la Federación Nacional de Cafeteros de Co …   Wikipedia Español

  • Grupos Antiterroristas de Liberación — Para la película, véase GAL (película). Grupos Antiterroristas de Liberación (GAL) Operacional 1983 1987 Objetivos Eliminación mediante terrorismo de Estado de la banda terrorista ETA y su estructura de apoyo Regiones activas España y Francia Los …   Wikipedia Español

Compartir el artículo y extractos

Link directo
Do a right-click on the link above
and select “Copy Link”