La primera formulación de las leyes matemáticas que
gobiernan dicho sistema fue realizada por Hartley y sus
ideas son consideradas actualmente como la génesis de la
Teoría de la Información.
1948
Shannon y Weaver desarrollaron los
principios definitivos de esta teoría.
Los problemas que ellos se centraron fueron :
cómo hablar los mejores métodos para
utilizar los diversos sistemas de
comunicación
cómo establecer el mejor método
para separar las señales del ruido y
cómo determinar los límites
posibles de un canal.
Modelo de
comunicación
Este sistema de comunicación es lo
suficientemente amplio como para
Incluir los diferentes contextos en que se
da la comunicación
DJesarrollado por Shannon y Weaver se basa en un sistema de comunicación
general que puede ser representado de la siguiente manera
Fuente de
informacion
Transmisor
Señal
Canal
Fuente de Ruido
Receptor
Información
Concepto
es definido en términos estrictamente estadísticos, bajo el supuesto
que puede ser tratado de manera semejante a como son tratadas
las cantidades físicas como la masa y la energía.
Uno de los objetivos de esta teoría es determinar la cantidad de
información que proporciona un mensaje, la cual puede ser calculada a
partir de su probabilidad de ser enviada.
Principios de la
medición de
información
De acuerdo a estas consideraciones probabilísticas es posible establecer un
primer principio de la medición de información. Este establece que mientras
más probable sea un mensaje menos información proporcionará
Se representa de la siguiente manera
I(xi) > I(xk) si y sólo si p(xi) < p(xk)
Donde
I(xi) : cantidad de información proporcionada por xi
p(xi) : probabilidad de xi
Redundancia
Permite que si se pierde una
fracción de un mensaje sea posible
completarlo en forma muy
aproximada al original.
Otra función importante de la redundancia es que nos permite
ahorrar tiempo en la decodificación de los mensajes.
La redundancia nos ayuda a combatir el ruido.
Concepto de comunicación
Proceso de comuniación
Técnico
Semántico
pragmático.
Es empleado en un sentido muy amplio en el que "quedan incluidos todos los
procedimientos mediante los cuales una mente puede influir en otra".
Capacidad del canal
El teorema fundamental para un canal sin ruido que transmite símbolos discretos afirma que si se
emplea un procedimiento adecuado de codificación para el transmisor es posible conseguir que el
ritmo medio de transmisión de símbolos por el canal sea muy próximo a C/H.
El teorema para la capacidad de un canal con ruido se define como el ritmo máximo a que la
información útil (incertidumbre total menos la incertidumbre debida al ruido) puede ser
transmitida a través del canal.