Křížová entropie mezi dvěmarozděleními pravděpodobnosti${\displaystyle p}$ a${\displaystyle q}$ se stejnou podkladovou množinou událostí míry je vteorii informace průměrný početbitů potřebných pro identifikaci události vybrané z množiny, jestliže kódovací schéma používané pro množinu je optimalizované pro odhadnuté rozdělení pravděpodobnosti${\displaystyle q}$ místo skutečného rozdělení${\displaystyle p}$.

Křížová entropie rozdělení${\displaystyle q}$ vůči rozdělení${\displaystyle p}$ na danémnožině je definovaná takto:

${\displaystyle H(p,q)=-{\mathrm{E}}_p[\log q]}$.

Jiná definice používáKullbackovu–Leiblerovu divergenci${\displaystyle D_{\mathrm{K}\mathrm{L}}(p\Vert q)}$ rozdělení${\displaystyle p}$ z${\displaystyle q}$ (nebolirelativní entropie rozdělení${\displaystyle q}$ vzhledem k${\displaystyle p}$):

${\displaystyle H(p,q)=H(p)+D_{\mathrm{K}\mathrm{L}}(p\Vert q)}$,

kde${\displaystyle H(p)}$ jeentropie rozdělení${\displaystyle p}$.

Prodiskrétní pravděpodobnostní distribuce${\displaystyle p}$ a${\displaystyle q}$ se stejnýmnosičem${\displaystyle \mathcal{X}}$ to znamená

${\displaystyle H(p,q)=-\sum _{x\in \mathcal{X}}p(x)\log q(x)}$ (rovnice 1)

Prospojité distribuce je situace analogická. Musíme předpokládat, že${\displaystyle p}$ a${\displaystyle q}$ jsouabsolutně spojité vzhledem k nějaké referenčnímíře${\displaystyle r}$ (obvykle je${\displaystyle r}$Lebesgueova míra naBorelovskéσ-algebře). Nechť${\displaystyle P}$ a${\displaystyle Q}$ jsou hustoty pravděpodobností rozdělení${\displaystyle p}$ a${\displaystyle q}$ vzhledem k${\displaystyle r}$. Pak

${\displaystyle -{\int }_{\mathcal{X}}P(x)\log Q(x)dr(x)={\mathrm{E}}_p[-\log Q]}$

a tedy

${\displaystyle H(p,q)=-{\int }_{\mathcal{X}}P(x)\log Q(x)dr(x)}$ (rovnice 2)

Poznámka: Notace${\displaystyle H(p,q)}$ se používá také pro jinou veličinu,sdruženou entropii rozdělení${\displaystyle p}$ a${\displaystyle q}$.

Kraftova–McMillanova věta vteorii informace říká, že jakékoli přímo dekódovatelné kódovací schéma pro kódování zprávy identifikující jednu hodnotu${\displaystyle x_i}$ ze sady možností${\displaystyle \{x_1,...,x_n\}}$ můžeme považovat za reprezentaci implicitního rozdělení pravděpodobnosti${\displaystyle q(x_i)={\left(\frac{1}{2}\right)}^{l_i}}$ pro${\displaystyle \{x_1,...,x_n\}}$, kde${\displaystyle l_i}$ je délka kódu pro${\displaystyle x_i}$ v bitech. Proto lze křížovouentropii interpretovat jako očekávanou délku zprávy pro zakódování jedné položky, když předpokládáme nějaké rozdělení${\displaystyle q}$, zatímco data mají ve skutečnosti rozdělení${\displaystyle p}$. To znamená, že očekávané hodnoty se berou ze skutečného rozdělení pravděpodobnosti${\displaystyle p}$ místo z${\displaystyle q}$. Očekávaná délka zprávy při skutečném rozdělení${\displaystyle p}$ je

${\displaystyle {\mathrm{E}}_p[l]=-{\mathrm{E}}_p\left[\frac{\ln q(x)}{\ln (2)}\right]=-{\mathrm{E}}_p\left[{\log }_{2}q(x)\right]=-\sum _{x_i}p(x_i){\log }_{2}q(x_i)=-\sum _{x}p(x){\log }_{2}q(x)=H(p,q)}$

Je mnoho situací, kdy by bylo třeba měřit křížovou entropii, ale rozdělení${\displaystyle p}$ je neznámé. Příkladem jejazykové modelování, kde model je vytvořen na trénovací množině${\displaystyle T}$ a jeho křížová entropie je pak měřena na testovací množině pro zhodnocení, jak je model přesný v predikci testovacích dat. V tomto příkladě je${\displaystyle p}$ skutečné rozdělení slov v nějakém korpusu a${\displaystyle q}$ je rozdělení slov predikované modelem. Protože skutečné rozdělení je neznámé, nelze křížovou entropii přímo spočítat. V takovém případě se odhad křížové entropie počítá pomocí vzorce:

${\displaystyle H(T,q)=-\sum _{i=1}^N\frac{1}{N}{\log }_{2}q(x_i)}$

kde${\displaystyle N}$ je velikost testovací množiny a${\displaystyle q(x)}$ je pravděpodobnost události${\displaystyle x}$ odhadnuté z trénovací množiny. Suma se počítá přes${\displaystyle N}$. Toto je pravděpodobnostní (Monte Carlo) odhad skutečné křížové entropie, při kterém testovací množinu považujeme za vzorek z${\displaystyle p(x)}$.

U klasifikačních problémů chceme odhadnout pravděpodobnost jednotlivých výsledků. Pokud odhadnutá pravděpodobnost výsledku${\displaystyle i}$ je${\displaystyle q_i}$, zatímco frekvence (empirická pravděpodobnost) výsledku${\displaystyle i}$ v trénovací množině je${\displaystyle p_i}$ a v trénovací množině je N vzorků, pak věrohodnost trénovací množiny je

${\displaystyle \prod _i{q}_i^{N{p}_i}}$

a logaritmická věrohodnost vydělená${\displaystyle N}$ je

${\displaystyle \frac{1}{N}\log \prod _i{q}_i^{N{p}_i}=\sum _i{p}_i\log q_i=-H(p,q)}$

takže maximalizace věrohodnosti je totéž jako minimalizace křížové entropie.

Minimalizace křížové entropie se často používá při optimalizaci a odhadu pravděpodobnosti řídkých událostí; vizmetoda křížové entropie.

Při porovnávání rozdělení${\displaystyle q}$ s pevným referenčním rozdělením${\displaystyle p}$ jsou křížová entropie aKL divergence identické až na aditivní konstantu (protože${\displaystyle p}$ je pevné): obě nabývají pro${\displaystyle p=q}$ své minimální hodnoty, která je${\displaystyle 0}$ pro KL divergenci a${\displaystyle \mathrm{H}(p)}$ pro křížovou entropii^[1]. V inženýrské literatuře se postup minimalizace KL divergence (Kullbackův "Princip minimální diskriminace informace") často nazýváPrincip minimální křížové entropie (MCE, z anglickéhoPrinciple of Minimum Cross-Entropy) neboMinxent.

Jak je však diskutováno v článkuKullbackova–Leiblerova divergence, někdy je rozdělení${\displaystyle q}$ fixováno před referenčním rozdělením a rozdělení${\displaystyle p}$ je optimalizováno, aby bylo co nejbližší k${\displaystyle q}$, při platnosti určitých omezení. V takovém případě obě minimalizacenejsou ekvivalentní. To vedlo k určité nejednoznačnosti v literatuře, protože někteří autoři usilovali vyřešit nekonzistenci tím, že termínem křížová entropie označují${\displaystyle D_{\mathrm{K}\mathrm{L}}(p\Vert q)}$ místo${\displaystyle H(p,q)}$.

Křížovou entropii lze použít pro definování nákladové funkce přistrojovém učení aoptimalizaci. Skutečná pravděpodobnost${\displaystyle p_i}$ je skutečný popisek a dané rozdělení${\displaystyle q_i}$ je predikovanou hodnotou současného modelu.

Konkrétněji uvažujmelogistickou regresi, kterou lze (mimo jiné) použít pro klasifikaci pozorování do dvou možných tříd (často značených${\displaystyle 0}$ a${\displaystyle 1}$). Výstup modelu pro určité pozorování dané vektorem vstupních vlastností${\displaystyle x}$ lze interpretovat jako pravděpodobnost, což slouží jako základ pro klasifikaci pozorování. Pravděpodobnost je znázorněna pomocílogistické funkce${\displaystyle g(z)=1/(1+e^{-z})}$ kde${\displaystyle z}$ je nějaká funkce vstupního vektoru${\displaystyle x}$, obvykle pouzelineární funkce. Pravděpodobnost výstupu${\displaystyle y=1}$ je

${\displaystyle q_{y=1}=\hat{y}\equiv g(\mathbf{w}\cdot \mathbf{x})=1/(1+e^{-\mathbf{w}\cdot \mathbf{x}}),}$

kde vektor vah${\displaystyle \mathbf{w}}$ je optimalizován pomocí nějakého vhodného algoritmu, jako napříkladmetodou gradientního spádu. Podobně komplementární pravděpodobnost hledání výstup${\displaystyle y=0}$ je

${\displaystyle q_{y=0}=1-\hat{y}}$

Při použití notace${\displaystyle p\in \{y,1-y\}}$ a${\displaystyle q\in \{\hat{y},1-\hat{y}\}}$ můžeme používat křížovou entropii pro získání míry odlišnosti mezi${\displaystyle p}$ a${\displaystyle q}$:

${\displaystyle H(p,q)=-\sum _i{p}_i\log q_i=-y\log \hat{y}-(1-y)\log (1-\hat{y})}$

Typická nákladová funkce, kterou používáme v logistické regresi, se počítá jako průměr všech křížových entropií ve vzorku. Pokud například máme${\displaystyle N}$ vzorků indexovaných${\displaystyle n=1,\dots ,N}$, bude nákladová funkce

kde${\displaystyle {\hat{y}}_n\equiv g(\mathbf{w}\cdot {\mathbf{x}}_n)=1/(1+e^{-\mathbf{w}\cdot {\mathbf{x}}_n})}$ a${\displaystyle g(z)}$ je logistická funkce stejně jako výše.

Logistická ztráta se někdy nazývá ztráta křížové entropie nebo logaritmická ztráta (V tomto případě se třídy zpravidla označují hodnotami {-1,+1})^[2].

V tomto článku byl použitpřeklad textu z článkucross entropy na anglické Wikipedii.

• Metoda křížové entropie
• Logistická regrese
• Podmíněná entropie
• Metoda maximální věrohodnosti
• Vzájemná informace

• What is cross-entropy, and why use it?Archivováno 18. 12. 2019 naWayback Machine.
• Cross Entropy

• Entropie a informace
• Nákladové funkce
• Kříže ve vědě a technice

• Monitoring:Články přeložené z enwiki
• Monitoring:Autoritní kontrola s 0 identifikátory