Física - Magnitudes físicas

 entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información.

La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como «que», «el», «a» aportan poca información, mientras que palabras menos frecuentes como «corren», «niño», «perro» aportan más información. Si de un texto dado borramos un «que», seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra «niño» del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.

El concepto entropía es usado en termodinámica, mecánica estadística y teoría de la información. En todos los casos la entropía se concibe como una «medida del desorden» o la «peculiaridad de ciertas combinaciones». La entropía puede ser considerada como una medida de la incertidumbre y de la información necesaria para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de información y el de entropía están básicamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido.

Relación con la entropía termodinámica[editar]

La entropía de la teoría de la información está estrechamente relacionada con la entropía termodinámica. En la termodinámica se estudia un sistema de partículas cuyos estados X (usualmente posición y velocidad) tienen una cierta distribución de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los símbolos en la teoría de la información). La entropía termodinámica es igual a la entropía de la teoría de la información de esa distribución (medida usando el logaritmo neperiano) multiplicada por la constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropía termodinámica toma la forma k log(N). En un sistema aislado, la interacción entre las partículas tiende a aumentar su dispersión, afectando sus posiciones y sus velocidades, lo que causa que la entropía de la distribución aumente con el tiempo hasta llegar a un cierto máximo (cuando el mismo sistema es lo más homogéneo y desorganizado posible); lo que es denominado segunda ley de la termodinámica. La diferencia entre la cantidad de entropía que tiene un sistema y el máximo que puede llegar a tener se denomina neguentropía, y representa la cantidad de organización interna que tiene el sistema. A partir de esta última se puede definir la energía libre de Gibbs, que indica la energía que puede liberar el sistema al aumentar la entropía hasta su máximo y puede ser transformada en trabajo (energía mecánica útil) usando una máquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partículas aumentan, lo que dispersa la distribución y hace aumentar así la entropía. Así, el flujo de calor produce un flujo de entropía en la misma dirección.

Concepto intuitivo[editar]

Entropía de la información en un ensayo de Bernoulli X (experimento aleatorio en que X puede tomar los valores 0 o 1). La entropía depende de la probabilidad P(X=1) de que X tome el valor 1. Cuando P(X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropía es máxima.

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de «ruido» o «desorden» que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.

Como ejemplo, consideremos algún texto escrito en español, codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, «w»), mientras otros sí lo son (como la «a»), la cadena de caracteres no será tan "aleatoria" como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948, A Mathematical Theory of Communication ("Una teoría matemática de la comunicación", en inglés).

Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones:

• La medida de información debe ser proporcional (lineal continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.
• Si todos los elementos de la señal son equiprobables (igual de probables) a la hora de aparecer, entonces la entropía será máxima.

Ejemplos de máxima entropía: Suponiendo que estamos a la espera de un texto, por ejemplo un cable con un mensaje. En dicho cable solo se reciben las letras en minúscula de la a hasta la z, entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la máxima entropía (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada de caracteres, pues estos no se repiten ni están ordenados en una forma predecible.

Definición formal[editar]

Supongamos que un evento (variable aleatoria) tiene un grado de indeterminación inicial igual a ${\displaystyle k}$ (i.e. existen ${\displaystyle k}$estados posibles) y supongamos todos los estados equiprobables. Entonces la probabilidad de que se dé una de esas combinaciones será ${\displaystyle p=1/k}$. Luego podemos representar la expresión ${\displaystyle c_{i}}$ como:^a​

${\displaystyle c_{i}=\log _{2}(k)=\log _{2}[1/(1/k)]=\log _{2}(1/p)=\underbrace {\log _{2}(1)} _{=0}-\log _{2}(p)=-\log _{2}(p)}$

Si ahora cada uno de los ${\displaystyle k}$ estados tiene una probabilidad ${\displaystyle p_{i}}$, entonces la entropía vendrá dada por la suma ponderada de la cantidad de información:¹​^b​

${\displaystyle H=-p_{1}\log _{2}(p_{1})-p_{2}\log _{2}(p_{2})-....-p_{k}\log _{2}(p_{k})=-\sum _{i=1}^{k}p_{i}\log _{2}(p_{i})}$

Por lo tanto, la entropía de un mensaje ${\displaystyle X}$, denotado por ${\displaystyle H(X)}$, es el valor medio ponderado de la cantidad de información de los diversos estados del mensaje:

${\displaystyle H(X)=-\sum _{i}p(x_{i})\log _{2}p(x_{i})}$

que representa una medida de la incertidumbre media acerca de una variable aleatoria y por tanto de la cantidad de información.

Ejemplos[editar]

• La entropía de un mensaje M de longitud 1 carácter que utiliza el conjunto de caracteres ASCII, suponiendo una equiprobabilidad en los 256 caracteres ASCII, será:

${\displaystyle H(M)=\log _{2}(256)=8}$

• Supongamos que el número de estados de un mensaje es igual a 3, M₁, M₂ y M₃ donde la probabilidad de M₁es 50 %, la de M₂ 25 % y la de M₃ 25 %. Por tanto, la entropía de la información es:

${\displaystyle H(M)=1/2\log _{2}(2)+1/4\log _{2}(4)+1/4\log _{2}(4)=1,5}$

Información mutua[editar]

La entropía puede verse como caso especial de la información mutua. La información mutua de dos variables aleatorias, denotado por I(X;Y), es una cantidad que mide la dependencia mutua de las dos variables; es decir, mide la reducción de la incertidumbre (entropía) de una variable aleatoria, X, debido al conocimiento del valor de otra variable aleatoria, Y.²​ De la definición podemos concluir que, si X e Y son iguales, entonces I(X;X)=H(X).

Propiedades[editar]

La entropía tiene las siguientes propiedades:

1. La entropía es no negativa. Esto es evidente ya que al ser ${\displaystyle p_{i}}$ una probabilidad entonces ${\displaystyle 0<p_{i}\leq 1}$. Por tanto, podemos decir que ${\displaystyle \log _{2}p_{i}\leq 0}$ y por tanto ${\displaystyle -\log _{2}p_{i}\geq 0}$
2. ${\displaystyle H\leq \log _{a}(n)}$ Es decir, la entropía H está acotada superiormente (cuando es máxima) y no supone pérdida de información.
3. Dado un proceso con posibles resultados {A₁,..,A_n} con probabilidades relativas p₁,...,p_n, la función ${\displaystyle H(p_{1},\dots ,p_{n})\,}$ es máxima en el caso de que ${\displaystyle p_{1}=\dots =p_{n}=1/n\,}$. El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje, cuando los valores posibles de la variable son equiprobables
4. Dado un proceso con posibles resultados {A₁,..,A_n} con probabilidades relativas p₁,...,p_n, la función ${\displaystyle H(p_{1},\dots ,p_{n})\,}$ es nula en el caso de que ${\displaystyle p_{i}=0}$ para todo i, excepto para una clase, tal que: ${\displaystyle p_{j}=1}$. De forma intuitiva podemos pensar que cuando uno o más estados tienen una probabilidad alta, disminuye significativamente la entropía porque, como es lógico, existe una menor incertidumbre respecto al mensaje que se recibirá.

Codificador óptimo[editar]

Un codificador óptimo es aquel que utiliza el mínimo número de bits para codificar un mensaje. Un codificador óptimo usará códigos cortos para codificar mensajes frecuentes y dejará los códigos de mayor longitud para aquellos mensajes que sean menos frecuentes. De esta forma se optimiza el rendimiento del canal o zona de almacenamiento y el sistema es eficiente en términos del número de bits para representar el mensaje.

Por ejemplo, el código Morse se aprovecha de este principio para optimizar el número de caracteres a transmitir a partir del estudio de las letras más frecuentes del alfabeto inglés. Aunque el código Morse no es un codificador óptimo, asigna a las letras más frecuente códigos más cortos. Otro ejemplo sería el algoritmo de Huffman de codificación que sirve para compactar información.³​ Este método se basa en el codificador óptimo. Para ello lo primero que hace es recorrer toda la información para encontrar la frecuencia de los caracteres y luego a partir de esta información busca el codificador óptimo por medio de árboles binarios. Algunas técnicas de compresión como LZW o deflación no usan probabilidades de los símbolos aislados, sino que usan las probabilidades conjuntas de pequeñas secuencias de símbolos para codificar el mensaje, por lo que pueden lograr un nivel de compresión mayor.

Podemos construir un codificador óptimo basándonos en la entropía de una variable aleatoria de información X. En efecto, la entropía nos da el número medio de bits (si usamos logaritmos de base 2) necesarios para codificar el mensaje a través de un codificador óptimo y por tanto nos determina el límite máximo al que se puede comprimir un mensaje usando un enfoque símbolo a símbolo sin ninguna pérdida de información (demostrado analíticamente por Shannon), el límite de compresión (en bits) es igual a la entropía multiplicada por el largo del mensaje. Reescribiendo la ecuación de cálculo de la entropía llegamos a que:

${\displaystyle H(X)=-\sum _{i}p(x_{i})\log _{2}p(x_{i})=\sum _{i}-p(x_{i})\log _{2}p(x_{i})=\sum _{i}p(x_{i})[log_{2}(1)-\log _{2}(p(x_{i}))]=\sum _{x}p(x)\log _{2}(1/p(x))}$

Por lo tanto, la información (que se encuentra definida en bits, dado que la base del logaritmo es 2) que aporta un determinado valor o símbolo ${\displaystyle x_{i}\,\!}$ de una variable aleatoria discreta ${\displaystyle X\,\!}$ se define como:

${\displaystyle I(x_{i})=\log _{2}{\frac {1}{p(x_{i})}}=-\log _{2}{p(x_{i})}}$

Esta expresión representa el número necesario de bits para codificar el mensaje x en el codificador óptimo y por tanto la entropía también se puede considerar como una medida de la información promedio contenida en cada símbolo del mensaje.

Ejemplo[editar]

Supongamos que el número de estados de un mensaje es igual a 3 M₁, M₂ y M₃ donde la probabilidad de M₁ es 50 %, la de M₂ 25 % y la de M₃ 25 %.

Para M₁ tenemos que ${\displaystyle \log _{2}[1/p(M_{1})]=\log _{2}2=1}$

Para M₂ tenemos que ${\displaystyle \log _{2}[1/p(M_{2})]=\log _{2}4=2}$

Para M₃ tenemos que ${\displaystyle \log _{2}[1/p(M_{3})]=\log _{2}4=2}$

Por tanto, en el codificador óptimo para transmitir M₁ hará falta un bit y para M₂ y M₃ será necesario contar con dos bits. Por ejemplo, podríamos codificar M₁ con "0", M₂ con "10" y M₃ con "11". Usando este convenio para codificar el mensaje M₁M₂M₁M₁M₃M₁M₂M₃ usaríamos "010001101011" y por tanto 12 bits. El valor de la entropía sería:

${\displaystyle H(X)=1/2\log _{2}(2)+1/4\log _{2}(4)+1/4\log _{2}(4)=1,5}$

Por tanto, el codificador óptimo necesita de media 1,5 bits para codificar cualquier valor de X.

Entropía condicional[editar]

Véase también artículo dedicado: Entropía condicional

Supongamos que en vez de tener una única variable aleatoria X, existe otra variable Y dependientes entre sí, es decir el conocimiento de una (por ejemplo, Y) entrega información sobre la otra (por ejemplo, X). Desde el punto de vista de la entropía de la información podemos decir que la información de Y disminuirá la incertidumbre de X. Por tanto, podemos decir que la entropía de X será condicional a Y, y por tanto:

${\displaystyle H(X,Y)=-\sum _{x,y}p(x,y)\log _{2}p(x,y)}$

Como por el teorema de Bayes tenemos que p(x,y)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se dé un estado de X conocida Y, podemos decir:

${\displaystyle H(X|Y)=-\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}p(x|y)}$

Aplicación en criptoanálisis[editar]

El concepto de entropía condicional es muy interesante en el campo del criptoanálisis. Proporciona una herramienta para evaluar el grado de seguridad de los sistemas. Por ejemplo, para un sistema de cifrado hay dos entropías condicionales interesantes:⁴​ Supongamos

• Un mensaje M₁ es sometido a un proceso de cifrado usando la clave K₁ obteniendo E(K₁,M₁)=C₁.
• ${\displaystyle P_{C}(K)}$ representan la probabilidad condicional de la clave K dado el criptograma recibido C. A veces también se denota por ${\displaystyle P(K|C)}$
• ${\displaystyle P_{C}(M)}$ representan la probabilidad condicional del mensaje M dado el criptograma recibido C. A veces también se denota por ${\displaystyle P(M|C)}$

Entonces:

• Podemos calcular la entropía del conocimiento de la clave una vez conocido el texto cifrado, y por tanto medir la equivocación del mensaje (en inglés, message equivocation), ${\displaystyle H_{C}(K)}$, también denotada por ${\displaystyle H(K|C)}$, mediante la fórmula:

${\displaystyle H_{C}(K)=-\sum _{E,K}P(E,K)\log _{P_{E}}(K)=-\sum _{E}P(E)\sum _{K}P_{E}(K)\log _{P_{E}}(K)}$

La primera igualdad es por la definición de la entropía condicional y la segunda por aplicación del teorema de Bayes.

Observar que si ${\displaystyle H_{C}(K)=0}$ significa que se podrá romper el cifrado pues ya no hay incertidumbre. Esta anulación nos introduce en el concepto de distancia de unicidad.

• Podemos calcular la entropía del conocimiento del mensaje una vez conocido el texto cifrado, y por tanto medir la equivocación de la clave (en inglés, key equivocation), ${\displaystyle H_{C}(M)}$, también denotada por ${\displaystyle H(M|C)}$, mediante la fórmula:

${\displaystyle H_{C}(M)=-\sum _{E,M}P(E,M)\log _{P_{E}}(M)=-\sum _{E}P(E)\sum _{M}P_{E}(M)\log _{P_{E}}(M)}$

La primera igualdad es por la definición de la entropía condicional y la segunda por aplicación del teorema de Bayes.

Ejemplo[editar]

Supongamos una variable X con cuatro estados: ${\displaystyle x_{1},x_{2},x_{3},x_{4}}$ todos equiprobables y por tanto ${\displaystyle p(x_{i})=1/4}$. Existe además otra variable Y con tres estados; ${\displaystyle y_{1},y_{2},y_{3}}$ con probabilidades ${\displaystyle p(y_{1})=1/2}$ y ${\displaystyle p(y_{2})=p(y_{3})=1/4}$. Se conocen, además, las siguientes dependencias:

Si ${\displaystyle Y=y_{1}}$ entonces los posibles valores de x son ${\displaystyle x_{1},x_{2},x_{3},x_{4}}$

Si ${\displaystyle Y=y_{2}}$ entonces los posibles valores de x son ${\displaystyle x_{2},x_{3}}$

Si ${\displaystyle Y=y_{3}}$ entonces los posibles valores de x son ${\displaystyle x_{3},x_{4}}$

Aplicando las fórmulas tenemos:

${\displaystyle H(X)=2}$

${\displaystyle H(Y)=1,5}$

${\displaystyle H(X/Y)=1,5}$

En este caso el conocimiento de la dependencia de X respecto Y reduce la entropía de X de 2 a 1,5.

Entropía de un proceso estocástico[editar]

⁵​Un proceso estocástico ${\displaystyle \{X_{i}\}}$ es una secuencia indexada de variables aleatorias. En general, puede haber dependencias entre las variables aleatorias. Para estudiar la probabilidad de cierto conjunto de valores se suele adoptar el siguiente convenio:

${\displaystyle Pr[(X_{1},X_{2},...,X_{n})=(x_{1},x_{2},...,x_{n})]=p(x_{1},x_{2},...,x_{n})}$

Sea ${\displaystyle \{X_{i}\}_{i=1,..n}}$ un proceso estocástico de n variables aleatorias, y sea ${\displaystyle A^{n}}$ el conjunto de la posibles combinaciones de valores de ${\displaystyle \{X_{i}\}_{i=1,..n}}$. Se define la entropía del proceso estocástico, también llamada entropía del n-grama y denotado por ${\displaystyle H_{n}}$, como:

${\displaystyle H_{n}=H(X_{1},...,X_{n})=\sum _{s\in A^{n}}-P((X_{1},...,X_{n})=s)\log P((X_{1},...,X_{n})=s)}$

Ratio de entropía[editar]

Véase también artículo dedicado: Ratio de entropía

⁵​La ratio de entropía de una secuencia de n variables aleatorias (proceso estocástico) caracteriza la tasa de crecimiento de la entropía de la secuencia con el crecimiento de n.

La ratio de entropía de un proceso estocástico ${\displaystyle \{X_{i}\}}$ viene definida por la ecuación:

${\displaystyle H(X)=\lim _{n\to \infty }{\dfrac {1}{n}}H(X_{1},...,X_{n})}$

siempre que dicho límite exista.

Para poder establecer la dialéctica de una conversación científica, en primer lugar es necesario demarcar los campos semánticos de los conceptos utilizados. Es sabido que uno de los problemas que existe en el estudio científico de las humanidades es la necesidad que se tiene de emplear términos de uso común, en tanto que las ciencias duras crean su propia terminología, aceptada o no por la Academia de la lengua. Es así que a conceptos como Información, Conocimiento, Complejidad, etc. se les deben asignar definiciones aceptadas por los participantes en el diálogo, debido a la tremenda carga connotativa que conllevan. Por ejemplo ¿qué se entiende por realidad? Este concepto, obviamente, es muy difícil de definir. Si se intentara darle una definición en un grupo, cada integrante del mismo, muy probablemente, aportaría una versión propia. Sin embargo, creemos que el término se debe relativizar en cuanto al tiempo, cultura, estrato social, etc. Así, la realidad es una y muy diferente para una cultura occidental de la Ilustración que para la sociedad comunista rusa del siglo XX o para la sociedad neoliberal del siglo XXI. E inclusive, la realidad dentro de esta sociedad neoliberal se diferencia entre el estrato social de las clases dominantes y las dominadas, con una serie de matices muy marcados.

Por otro lado, un concepto como adaptabilidad requiere de una definición más completa. Es cierto que la adaptabilidad significa, en ciertos casos, incremento de complejidad, pero, también puede significar una pérdida de la misma. En oposición a los sistemas complejos adaptables (SCA), los sistemas complejos evolutivos (SCE) no pierden complejidad, sólo la incrementan. Por otro lado podemos hablar de la adaptabilidad en cuanto al grado de libertad que el ser humano tiene para, erróneamente, tratar de que la naturaleza se adapte a su hedonismo y no la co-adaptación que la naturaleza demanda de los sistemas que la integran, ser humano incluido.
La adaptabilidad es en sí un fenómeno mucho más aceptado por la facilidad que se tiene de observarlo en lapsos de tiempo mucho más asequibles al ser humano e inclusive de interferir directamente en él. (Recuérdese el caso de las razas de perros palomas, híbridos vegetales y animales, etc.) En tanto que requeriría miles de millones de años el observar todo el proceso de un SCE, como una estrella, que pega el salto evolutivo y adquiere planetas. Por otro lado, considérese el caso del híbrido de un yegua y asno, esto es simplemente una adaptación, para que pudiera darse el salto evolutivo se necesitaría que los dos sistemas progenitores desaparecieran como tales y se integraran en un nuevo sistema. 
Posiblemente Bekenstein en su artículo La información en el universo holográfico (NOTA 2) no enuncia una definición explicita de Información. Sin embargo a lo largo de su artículo el autor da los elementos suficientes para formar una definición de este concepto que esté de acuerdo con los lineamientos de la lógica formal.

Concepto definido:
La Información
Clase general a la que pertenece el concepto:
Elemento del mundo físico de la misma importancia que “materia y energía”.
Características generales que la identifican:

• Son las instrucciones suficientes para que elementos o sistemas cumplan sus funciones. Ejemplos: El robot de una fábrica de automóviles es de metal y plástico, pero no hará nada útil sin abundantes instrucciones que le digan que pieza ha de soldar a otra. Una ribosoma de una célula se construye de aminoácidos y se alimenta con la energía generada por la conversión del ATP en ADP, pero no podría sintetizar proteínas sin la información suministrada por el ADN del núcleo celular.
• Desempeña una función esencial en los sistemas y procesos físicos

John a. Wheeler, de la Universidad de Princeton, considera que el mundo físico está hecho de información; la energía y la materia serían accesorios.

Por otro lado, en el ensayo Mente – Cuerpo (Agudelo, Alcalá, 2003), los autores proponen lo siguiente:
La Información en la Vida esta integrada a la energía-materia y se recibe en forma de instrucciones endógenas y exógenas, materiales e inmateriales (como fotones, por ejemplo) que se guardan en la memoria, en capas temporales relacionadas con las capas cerebrales y de acuerdo con cada subsistema del organismo. La Información le proporciona a los sistemas la característica ejecutiva que les permite obedecer de manera determinista o seleccionar su respuesta de un rango de posibilidades, según sus grados de libertad. De acuerdo con Shannon (entropía de la información) y Boltzmann (entropía termodinámica), nosotros proponemos que la medida de la información más ampliamente usada hoy en día es la entropía.

Las dos entropías

La teoría formal de la información nació de los artículos publicados en 1948 por el matemático estadounidense Claude E. Shannon. En ellos enunció: la medida de la información más ampliamente usada hoy en día es la entropía. La entropía había venido siendo un concepto central de la termodinámica, la rama de la física que trata del calor. Suele decirse que la entropía termodinámica expresa el desorden de un sistema físico. En 1877 el físico austriaco Ludwig Boltzmann la caracterizó más precisamente como el número de estados microscópicos distintos en los que pueden hallarse las partículas que componen un trozo de materia de forma que siga pareciendo el mismo trozo desde un punto de vista macroscópico. En el caso del aire de una habitación, se contarían las maneras en que podrían distribuirse y moverse las moléculas de gas por la habitación.

Claro que esta conceptualización de Boltzmann va muy de acuerdo con la idea de que la suma de las partes aisladas no da como resultado el todo. Actualmente se acepta que a la suma de las partes debe agregársele los valores de las interacciones de estas partes, las ligas que contienen la Información que determina su comportamiento.

Cuando Shannon buscó una manera de cuantificar la información contenida en un mensaje, la lógica le condujo a una fórmula que tenía el mismo aspecto que la de Boltzmann. La entropía de Shannon de un mensaje es el número dígitos binarios, o bits, necesarios para codificarlo. Aunque no nos ilustra acerca del valor de la información, que depende mucho del contexto; en cuanto medida objetiva de la cantidad de información, la entropía de Shannon ha sido enormemente útil en ciencia y técnica. El diseño de todos los aparatos modernos de comunicación –desde los teléfonos portátiles hasta los módems y los reproductores de discos compactos-- se basa en la entropía de Shannon.

La entropía termodinámica y la de Shannon son conceptualmente equivalentes: el número de configuraciones que se cuentan en la entropía de Boltzmann refleja la cantidad de información de Shannon que se necesitaría para realizar cualquier configuración determinada. Tales entropías presentan, sin embargo, dos diferencias principales. En primer lugar, la entropía termodinámica que emplea un químico o un experto en refrigeración se expresa en unidades de energía dividida por temperatura, mientras que la entropía de Shannon aplicada por un ingeniero de telecomunicaciones se da en bits, magnitud que carece de dimensión. Esta diferencia no es más que una cuestión de convenciones.
Incluso cuando se les ha reducido a unidades comunes, los valores típicos de las dos entropías difieren mucho en magnitud. Un microchip de silicio que contenga un gigabyte de datos, por ejemplo, posee una entropía de Shannon de unos 1010 bits (un byte son ocho bits), muchísimo menor que la entropía termodinámica del chip, unos 1023 bits a temperatura ambiente. Esta discrepancia se debe a que esas entropías se calculan para grados de libertad diferentes. Un grado de libertad es cualquier cantidad que pueda cambiar, así una coordenada que especifica la localización de una partícula o una componente de su velocidad. La entropía de Shannon del chip sólo atiende al estado global de cada pequeño transistor impreso en el cristal de silicio: está on u off; representa un 0 o un 1 –un único grado de libertad binario--. La entropía termodinámica, por el contrario depende de los estados de todos y cada uno de los miles de millones de átomos (con sus electrones en órbita) que forman cada transistor. A medida que la miniaturización nos acerque más al día en que cada átomo nos almacenará un bit de información, la entropía útil de Shannon del mejor microchip del momento se ira acercando a la entropía termodinámica de su materia. Cuando las dos entropías se calculan para los mismos grados de libertad, resultan iguales.
¿Cuáles son los grados de libertad fundamentales? Después de todo, los átomos se componen de electrones y núcleos, los núcleos de protones y neutrones, y éstos de quarks. Muchos consideran hoy en día que los electrones y los quarks son excitaciones de supercuerdas, de las que piensan que son entes más fundamentales. Pero las vicisitudes de un siglo de revelaciones en la física nos previenen contra el dogmatismo. Podría haber más niveles de estructura en nuestro universo que los que sueña la física actual.
No se puede calcular la capacidad máxima de información de un pedazo de materia, o, de manera equivalente, su verdadera entropía termodinámica, sin conocer la naturaleza de los últimos constituyentes de la materia o del nivel más profundo de la estructura, al que llamaré “nivel X”. (Esta ambigüedad no le causa problemas en el análisis de la termodinámica práctica, por ejemplo, la de un motor de coche, ya que se puede ignorar los quarks del interior del átomo; ellos no cambian de estado bajo las condiciones relativamente moderadas del motor.) Dado el vertiginoso progreso de la miniaturización, juguemos a imaginar un día en que los quarks sirviesen para almacenar información, quizás un bit cada uno. ¿Cuánta información cabría entonces en nuestro cubo de un centímetro de lado? ¿Y cuánta si lográsemos controlar la supercuerda, o niveles más profundos aún ni soñados? Sorprendentemente, los desarrollos de la física de la gravitación en los treinta últimos años han proporcionado algunas respuestas claras a preguntas que parecían inabordables.

Algo que no considera Shannon es la información que el chip en sí ya contiene, la que lo capacita para recibir la información del mensaje. Es así que la afirmación de que “Cuando las dos entropías sean calculadas con base en los mismos grados de libertad, su resultado será igual” es obvia. Es imposible para un quark aceptar información adicional, ya que perdería su calidad de quark al tener que aceptar, además de la información que ya contiene, la información de un mensaje o instrucción adicional.

La pregunta que sigue sería: ¿las cuerdas son en sí la información “inmaterial” o son estructuras “materiales” que forman el quark? De ser estructuras “materiales”, estas cuerdas deben contener la información que las conduzca a constituir el quark. Esto nos lleva a pensar que en el dilema de que está constituida la esencia del universo: materia o información, nuestra respuesta sería: ambas

La Información termodinámica de la cual la entropía nos da su medida sólo se refiere al sistema inmediato en el que actúa. Así, las partes que integran un escritorio tienen valor como tal si se posee la información que permite armarlo. Las partes del cajón del escritorio, sólo nos dan la Información sobre el cajón, no la suficiente sobre el escritorio.

Por otro lado, el ejemplo deja claro que la información que se obtiene por la entropía de Shannon es mucho menor que la entropía termodinámica de Boltzmann porque de esta última se puede obtener la Información contenida a niveles más profundos de las estructuras que forman el chip, en tanto que la entropía de Shannon da la Información del chip como estructura básica. La diferencia entre 1010 bits y 1023 bits es la información necesaria para construir el chip a partir de los elementos más finos logrados.

Sin embargo, tenemos que aceptar que la tesis que sostenemos que la Información es la base de la emergencia y evolución del universo no es nueva. En el libro The Mind and the Brain (NOTA 3), los autores afirman que tanto los legos como los científicos consideran que el mundo está construido por diminutos fragmentos de materia, esto va de acuerdo con la visión de la ciencia ortodoxa reduccionista, que estudia de la parte al todo, pero ellos señalan que esta visión es incorrecta. Ya en 1930, el matemático húngaro John von Neumann propuso una versión de la teoría cuántica, en la que postula que “el mundo no esta construido por fragmentos de materia sino por fragmentos de conocimiento…” Sin embargo, reconocen que esta idea se perdió rápidamente cuando el materialismo surgió triunfante, el cual a pesar de haberse impuesto ha sido incapaz de explicar como emerge la Información.

La información y los agujeros negros

Si preguntamos de que se compone el mundo físico, se nos responderá que de “materia y energía”. Pero quien sepa algo de ingeniería, biología y física nos citará también la información como elemento no menos importante…Un siglo de investigación nos ha enseñado que la información desempeña una función esencial en los sistemas y procesos físicos. Hoy, una líneas de pensamiento iniciada por John A. Wheeler de la Universidad de Princeston considera que el mundo físico está hecho de información; la energía y la materia serían accesorios.

Estimamos que la información está siempre integrada con la materia- energía no pueden existir separados. De hecho, creemos, de acuerdo con el Principio de Zeilinger, que el elemento fundamental del universo es ya un sistema elemental formado por un bit y la energía que lo contiene.

Este punto de vista invita a reconsiderar cuestiones fundamentales. La capacidad de almacenamiento de la información de los discos duros y demás dispositivos de memoria ha ido creciendo a toda velocidad. ¿Cuándo se parará este progreso? ¿Cuál es la capacidad de información última de un dispositivo que pese, digamos, menos de un gramo y ocupe un centímetro cúbico (ése viene a ser el tamaño del chip de un ordenador)? ¿Cuánta información se necesita para describir todo un universo? ¿Podría tal descripción caber en la memoria de un ordenador? ¿Podríamos, tal como escribió William Blake, “ver el mundo en un grano de arena”, o esas palabras sólo han de tomarse como una licencia poética?
Desarrollos recientes de la física teórica contestan algunas de estas preguntas; las respuestas podrían ser hitos importantes hacia la teoría definitiva de la realidad (El llegar a la realidad definitiva como lo dice el autor significaría el obtener la respuesta a la última pregunta, lo que a su vez significaría llegar al Conocimiento absoluto, alguien diría a Dios mismo). Del estudio de las misteriosas propiedades de los agujeros negros se han deducido límites absolutos que acotan la información que cabe en una región del espacio o en una cantidad de materia y energía…

La termodinámica del agujero negro

Protagonista de estos avances es el agujero negro. Los agujeros negros son una consecuencia de la relatividad general, teoría geométrica de la gravitación establecida por Albert Einstein en 1915. Según esta teoría, la gravitación surge de la curvatura del espacio-tiempo, que hace que los objetos se muevan como si fuesen atraídos por una fuerza. A la inversa, la curvatura es causada por la presencia de materia y energía. Es así que para nosotros esta presencia de materia y energía le informa al espacio como curvarse, a su vez, la curvatura interacciona informándole a la materia como debe moverse. 
Según las ecuaciones de Einstein, una concentración suficientemente densa de materia o energía curvará el espacio-tiempo tan extremadamente que lo rasgará y nacerá un agujero negro. Las leyes de la relatividad prohíben a todo lo que caiga en un agujero negro volver a salir; por lo menos dentro de la formulación clásica (es decir, no cuántica), de la física. El punto de no retorno, llamado el evento de horizonte del agujero negro es de crucial importancia. En el caso más simple, el horizonte es una esfera cuya área superficial es mayor cuanto mayor sea la masa del agujero negro.
Es imposible determinar lo que hay dentro de un agujero negro. Ninguna información detallada puede emerger del horizonte y escapar al mundo exterior. Al desaparecer para siempre en un agujero negro, la materia deja algunos rastros. Su energía (contamos cualquier masa como energía, de acuerdo con la fórmula de Einstein E = mc2) queda permanentemente reflejada en un incremento de la masa del agujero negro. Si la materia es capturada al orbitar el hoyo, su momento angular correspondiente se agrega al momento angular del agujero negro. Tanto la masa como el momento angular del agujero negro son mensurables gracias a sus efectos en el espacio-tiempo de los alrededores del agujero; así, los agujeros negros respetan las leyes de conservación de la energía y del momento angular. Otra ley fundamental, la segunda ley de la termodinámica parece ser violada.
La segunda ley de la termodinámica compendia algo conocido por todos: que la mayoría de los procesos naturales son irreversibles. Una taza de té cae de la mesa y se rompe; nadie ha visto jamás que los trozos salten del suelo y recompongan la taza. La segunda ley de la termodinámica prohíbe la inversión del proceso. Establece que la entropía de un sistema físico aislado nunca decrece; en el mejor de los casos, permanecerá constante; por lo normal, aumentará. Esta ley es esencial para la físico-química y la ingeniería; cabe sostener que es la ley física que más impacto ha causado fuera de la física.
Como lo enfatizó Wheeler, cuando la materia desaparece en un agujero negro desaparece también su entropía y parece que la segunda ley es trascendida, pierde su relevancia. Una idea de cómo podría resolverse este problema llegó en 1970. Demetrious Chritodoulou, entonces estudiante de doctorado de Wheeler en Princeton, y por otra parte Stephen W. Hawking, de la universidad de Cambridge, demostraron que en varios procesos, entre ellos la fusión de dos agujeros negros, nunca decrecía el área total de los horizontes de sucesos. La analogía con la tendencia de la entropía a aumentar me llevó a proponer en 1972 que un agujero negro tiene una entropía proporcional al área de su horizonte (véase la figura 1). Conjeturé que, cuando la materia cae en un agujero negro, el aumento de la entropía de éste siempre compensa, con creces incluso, la entropía “perdida” por la materia. Más generalmente, la suma de la entropía del agujero negro y de la entropía ordinaria fuera del mismo no puede decrecer. Esta es la generalización de la segunda ley (o GSL).
La GSL ha superado un gran número de estrictas pruebas, si bien puramente teóricas. Cuando una estrella se desploma sobre sí misma y crea un agujero negro, la entropía de éste supera en mucho la de la estrella (esto quiere decir que el agujero negro incrementa su información). En 1974 Hawking demostró que un agujero negro emite espontáneamente radiaciones térmicas mediante un proceso cuántico, hoy denominada “radiación de Hawking”. El teorema de Christodoulou-Hawking falla ante ese fenómeno (la masa del agujero negro y, por tanto, el área de su horizonte decrecen), pero la GSL resuelve el problema: la entropía de la radiación emergente compensa la merma de la entropía del agujero negro, de manera que se conserva la GSL. En 1986 Rafael D. Sorkin, de la universidad de Syracuse, utilizó la función del horizonte como bloqueador de la información interna del agujero que impide que influya en el exterior, para demostrar que la GSL (o algo muy parecido a ella) tiene que ser válido en cualquier proceso concebible que sufran los agujeros negros. Su profundo argumento dejaba claro que la entropía a que se refiere la GSL coincide con la calculada en el nivel X, sea cual sea ese nivel. Esto nos hace inferir que el agujero negro puede llegar a obtener la entropía total, es decir, transformar todo en Información.
Con su proyecto de radiación Hawkings determinó la constante de proporcionalidad entre la entropía de un agujero negro y el área del horizonte: la entropía del agujero negro es exactamente una cuarta parte del área del horizonte de eventos medida en áreas de Planck. (La longitud de Planck, unos 10-33 centímetros es la escala de longitud fundamental relacionada con la gravedad y la mecánica cuántica. El área de Planck es un cuadrado). Incluso, desde un punto de vista termodinámico, se trata de una enorme cantidad de entropía. La entropía de un agujero negro de un centímetro de diámetro sería de unos 1066 bits, aproximadamente igual a la entropía termodinámica de un cubo de agua de 10.000 millones de kilómetros de lado.