Questa pagina sull'argomento Matematica sembra trattare argomenti unificabili alla paginaEntropia (teoria dell'informazione).

---

Puoi contribuireunendo i contenuti in una pagina unica. Commenta la procedura di unione usandoquesta pagina di discussione. Segui i suggerimenti delprogetto di riferimento.

Nellateoria dell'informazione l'entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria${\displaystyle \mathrm{X}}$ noto il valore di un'altra variabile aleatoria${\displaystyle Y}$. Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore all'ingresso al canale dopo che è stato osservato il valore di uscita. L'entropia di${\displaystyle X}$ condizionata da${\displaystyle Y}$ si definisce come${\displaystyle H(X|Y)}$.

Se${\displaystyle H(X|Y=y_k)}$ è l'entropia della variabile${\displaystyle X}$ condizionata dalla variabile${\displaystyle Y}$ che assume un certo valore${\displaystyle y_k}$, allora${\displaystyle H(X|Y)}$ è il risultato della media pesata di${\displaystyle H(X|Y=y_k)}$ su tutti i possibili valori${\displaystyle y_k}$ che la${\displaystyle Y}$ può assumere.

Dato un alfabeto di simboli in ingresso${\displaystyle X=\{x_0,x_1,...,x_{J-1}\}}$, un alfabeto di simboli in uscita${\displaystyle Y=\{y_0,y_1,...y_{K-1}\}}$ con probabilità${\displaystyle p(y_0),...,p(y_{K-1})}$ l'entropia condizionale si definisce come:

${\displaystyle H(X|Y)}$${\displaystyle \equiv }$${\displaystyle \sum _{k=0}^{K-1}H(X|Y=y_k)p(y_k)}$

${\displaystyle =\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j|y_k)p(y_k)lo{g}_2\left[\frac{1}{p(x_j|y_k)}\right]}$

${\displaystyle =\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j,y_k)lo{g}_2\left[\frac{1}{p(x_j|y_k)}\right]}$

dove nell'ultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata:${\displaystyle p(x_j,y_k)=p(x_j|y_k)p(y_k)}$.

• Simon Haykin, Michael Moher,Communication Systems, 2001,ISBN 0-471-17869-1.

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica

• Teoria dell'informazione

• Unire - matematica
• Unire - ottobre 2023