O que é teoria da informação?

A teoria da informação é um ramo da matemática que lida com informação e comunicação. Neste post, serão apresentados alguns conceitos da teoria da informação e sua importância para as telecomunicações.

Informação e entropia

O que é informação? Nesta teoria, a informação de Shannon é a medida do grau de incerteza em um símbolo ou mensagem. Quanto maior a incerteza, maior a informação de Shannon. Esta é a relação entre a informação I e a probabilidade. A informação de Shannon não pode ser confundida com o significado de informação no senso comum, que é a redução da incerteza.

I=-log_2P(x)

P(x) é a probabilidade de transmissão da mensagem x. Se um transmissor pode emitir apenas um tipo de mensagem, existe a probabilidade de 100% do receptor obter esta mensagem (P(x)=1). Portanto, a informação de Shannon é 0 bit.

I=-log_21

I=0

Se for lançada uma única vez uma moeda, existe 50% de probabilidade de dar cara ou coroa (P(x)=0,5). Neste caso, haverá 1 bit de informação de Shannon.

I=-log_2\frac{1}{2}

I=1

Considere três baldes com 4 bolas cada. O balde 1 só com bolas vermelhas tem menos entropia que o balde 2, pois no balde 1 sabemos que sempre vamos tirar a bola vermelha. Por sua vez, o balde 2 tem menos entropia que o balde 3. Logo, quanto maior o conhecimento sobre o sistema, menor a entropia.

A entropia é a soma da informação multiplicada pela probabilidade de todos os símbolos e é calculada desta forma.

H=\sum_{I=1}^{n} p(x_i)\cdot I(x_i)

Este é o gráfico da entropia em função da probabilidade. A entropia é medida em bits por símbolo ou por mensagem. Este conceito é importante pois mostra o limite teórico de quantos bits uma mensagem pode ter e é usado na compressão de dados para economizar espaço.

Capacidade do canal

A mensagem precisa ser transmitida em um ambiente ruidoso e ser reproduzida sem distorção. Todo sistema de comunicação tem um canal com uma capacidade máxima e todo canal tem ruído.

O teorema fundamental de Shannon diz: Se a taxa de transmissão for menor ou igual que a capacidade do canal, pode-se usar um código corretor de erros para obter uma taxa de erro baixa arbitrariamente. No entanto, se a taxa de transmissão for maior que a capacidade, a transmissão sempre terá erros, não importa o código corretor. Esta equação calcula a capacidade máxima de um canal em bits por segundo.

C=B\cdot log_2(1+SNR)

Onde B é a largura de banda em Hz e SNR é a relação sinal-ruído.