Las investigaciones lingüísticas recientes han
sugerido la idea de que puede obtenerse
información por medio de disyuntivas binarias.
Todos los signos (palabras) de una lengua se
construyen por medio de la combinación de uno
o más fonemas.
Los fonemas son la unidad
mínima de emisión vocal con
carácter diferenciado.
En inglés, las dos maneras distintas de pronunciar la "i"
de "ship" y la de "sheep", constituyen precisamente una
oposición entre dos fonemas distintos (y por ello, en el
primer caso tenemos el significado de "nave" y en el
segundo "oveja".
La presencia de un fonema excluye la de
otro que, de haber aparecido un lugar
del primero, habría cambiado la
significación de la palabra.
En castellano, puedo pronunciar de
manera distinta la "e" de "cena" y la de
"mesa", pero la diferencia de
pronunciación no implica una oposición
fonemática.
El valor de "información" no se identifica
con la noción que nos es comunicada,
puesto que en la teoría de la información,
lo que nos es comunicado no tiene
importancia.
Lo que realmente es
importante es el número de
alternativas necesarias para
definir el acontecimiento sin
ambigüedades.
Un mensaje de un bit (dos posibilidades) y otro de tres
bit (ocho posibilidades), se distingue precisamente
por el mayor número de alternativas que en su origen
ofrece el segundo en comparación con el primero.
La información, por lo tanto, nos da
la medida de una situación de
igualdad de probabilidades, de una
distribución estadística que existe en
el origen.
Los teóricos de la información llaman
a este valor estadístico entropía, por
su analogía con la termodinámica.
La entropía de un sistema es el estado
de equiprobabilidad a que tienden sus
elementos.
La entropía se identifica con un estado de
desorden, en el sentido que un orden es
un sistema de probabilidades que se
introduce en el sistema, para poder
prever su evolución.
La información consiste más en lo
que puede decirse que en lo que se
dice. Es la medida de una
posibilidad de selección en la
elección de un mensaje.
La información representa la
libertad de elección de que se
dispone al construir un mensaje, y
por lo tanto, debe considerarse una
propiedad estadística de los
mensajes en su origen.
Cuando, entre dos acontecimientos,
sabemos cuál se producirá, tenemos
una información.
La probabilidad es la relación entre el número de
casos favorables a la realización del
acontecimiento y el número de casos posibles.
La relación entre una serie de
acontecimientos y la serie de
probabilidades correspondientes, es la
relación entre una progresión aritmética
y otra geométrica y la segunda serie
representa el logaritmo de la primera.
En la teoría de la información se llama unidad
de información, o bit (de binary digit o "señal
binaria"), a la unidad de disyunción binaria que
sirve para individualizar una alternativa.
Por el método de disyunción binaria es posible
individualizar una eventualidad entre un número
infinito de posibilidades.
Cuando se introduce un código se limitan
las posibilidades de combinación de los
elementos en juego y el número de los que
constituyen el repertorio.
La información de origen
disminuye y la posibilidad de
transmitir mensajes aumenta.
Con sus criterios de orden, el
código facilita estas posibilidades
de comunicación.
El código viene a ser un sistema de posibilidades
superpuesto a la igualdad de probabilidades del
sistema en su origen, para facilitar su dominio
comunicativo.
Para que la transmisión sea
posible, para que puedan ser
elaborados los mensajes, los
valores N y h han de ser reducidos.
La existencia del código, permitiendo
incluso diversas especies de
combinaciones, limita enormemente el
número de las elecciones posibles.
Shannon, define la
información de un mensaje
que implica N selecciones
entre h símbolos.