Código é uma representação simbólica de repertório próprio ou resultado de um processo decodificação, podendo ser entendido como o ponto de partida do qual é elaborada e decifrada uma mensagem. Situa-se como elemento da informação entre os níveis desemiótica, ou seja, do significado comum a todos os sistemas simbólicos e cuja interpretação menos depende do sistema no qual foi escrito; e dacomunicação, sistema de receptores/emissores e fontes de informação. Nesse contexto geral, código também é a ferramenta criada para manter a máxima eficiência da transmissão de informação segundo determinadas propriedades matemáticas.^[1]

Pode-se associar qualquerconjunto finito de símbolos de formabiunívoca a equivalentes emcódigos binários (0's e 1's) e assim tratar cada símbolo como uma sequência de escolhas do emissor e como uma quantidade que pode ser mensurada embits. Parasinais analógicos, é necessário primeiro fazer suadiscretização. Feito isso, o código detém as seguintes propriedades:

Seja${\displaystyle D=\{s_1,s_2,...s_n\}}$ um dicionário de uma fonte emissora${\displaystyle F}$ com${\displaystyle n}$ símbolos na qual cada símbolo possui uma probabilidade${\displaystyle P(s_i)}$ de ocorrência e seja${\displaystyle M}$ uma mensagem qualquer contendo${\displaystyle m}$ símbolos produzida por essa fonte.

Se a mensagem for convertida para código binário, como frequentemente requer oprocessamento digital de sinais e utilizando algum processo como código de Huffman ou de Shannon-Fano, obtemos um novo dicionário${\displaystyle D^{\ast }=\{s_1^{\ast },s_2^{\ast },...s_n^{\ast }\}}$, associando cada símbolo original${\displaystyle s_i}$ a uma sequência de números binários${\displaystyle s_i^{\ast }}$.

Define-se a quantidade de informação de um símbolo por${\displaystyle I(s_i)={\log }_2\left(\frac{1}{P(s_i)}\right)=-{\log }_2(P(s_i))}$ com a exceção particular de que se${\displaystyle P(s_i)=0}$, então${\displaystyle I(s_i)=0}$ (nota-se que o mesmo ocorre se${\displaystyle P(s_i)=1}$, ou seja, símbolos que sempre ou nunca ocorrem não carregam informação nova alguma). A escolha da base 2 para o logaritmo é devido à relação entre o dicionário e um conjunto de códigos binários e aunidade de medida é o bit.

Para a mensagem, tem-se que${\displaystyle I(M)=\sum _{s_i\in M}I(s_i)=-\sum _{s_i\in M}{\log }_2(P(s_i))}$, considerando nosomatório todas as repetições de símbolos.

Ver artigo principal:Entropia da informação

Entropia é uma medida da informação média contida numa mensagem. Para${\displaystyle F}$, define-se entropia como aesperança da quantidade de informação de uma mensagem produzida por essa fonte, ou seja,${\displaystyle H(F)=E[I(s_i)]=-\sum _{i=1}^{n}P(s_i){\log }_2(P(s_i))}$, de unidade em bits. Vê-se que qualquer${\displaystyle M}$ produzida por${\displaystyle F}$ não interfere no valor de${\displaystyle H(F)}$ uma vez que os valores${\displaystyle P(s_i)}$ tenham sido determinados. Para uma mensagem, tem-se que${\displaystyle H(M)=E[I(M)]=E[\sum _{s_i\in M}I(s_i)]=\sum _{s_i\in M}E[I(s_i)]=mH(F)}$.

Se passarmos a utilizar${\displaystyle D^{\ast }}$ como dicionário para a mensagem, uma mensagem${\displaystyle M^{\ast }}$ possui o tamanho${\displaystyle L(M)=\sum _{s_i\in M}L(s_i^{\ast })}$, em que${\displaystyle L(s_i^{\ast })}$ é simplesmente a quantidade de caracteres binários de${\displaystyle s_i^{\ast }}$. A partir disso, define-se tamanho médio da mensagem de${\displaystyle F}$, também uma esperança, por${\displaystyle \overline{L}(F)=\sum _{i=1}^{n}P(s_i)L(s_i^{\ast })}$ e a eficiência de codificação por${\displaystyle \eta =\frac{H(F)}{\overline{L}(F)}}$, adimensional (apesar da unidade da entropia).

Referências

• Comunicação
• Codificação