Kódování (přenos informace)

Mějme informační zdroj $\scriptstyle ({\mathcal {X}},p)$. Pod pojmem kódování tohoto zdroje chápeme přiřazování určitých řetězců znaků konkrétním zprávám $\scriptstyle x\in {\mathcal {X}}$, jež vycházejí ze zdroje. Znaky v řetězcích přitom tvoří jistou abecedu $\scriptstyle {\mathcal {D}}$. Pokud mají všechny řetězce stejnou délku $\scriptstyle n$, pak za obor hodnot takového přiřazení stačí brát množinu $\scriptstyle {\mathcal {D}}^{n}$, pokud se ale délka řetězců pro různé zprávy může lišit, bude obor hodnot takového přiřazení podmnožina množiny

${\mathcal {D}}^{\ast }=\bigcup _{n=1}^{\infty }{\mathcal {D}}^{n}.$

Matematicky pak můžeme kód zdroje $\scriptstyle ({\mathcal {X}},p)$ definovat jako zobrazení

$C:{\mathcal {X}}\to {\mathcal {D}}^{\ast },$

kde $\scriptstyle D$ je jistá abeceda znaků. Obvykle se bere $\scriptstyle {\mathcal {D}}=\{0,\ldots ,D-1\}$ pro nějaké $\scriptstyle D\geq 2$. Mluvíme pak o kódu $\scriptstyle {\boldsymbol {D}}$-znakovém. Jestliže $\scriptstyle D=2,3,\ldots$, nazýváme daný kód binární, ternární, ...

Kód $\scriptstyle C:{\mathcal {X}}\to D^{\ast }$ se nazývá nesingulární, jestliže je $\scriptstyle C$ prosté zobrazení.

Pod označením rozšířením kódu $\scriptstyle C:{\mathcal {X}}\to {\mathcal {D}}^{\ast }$ chápeme zobrazení

$C^{\ast }:{\mathcal {X}}^{\ast }\to {\mathcal {D}}^{\ast },\quad {\text{kde}}\quad {\mathcal {X}}^{\ast }=\bigcup _{i=1}^{\infty }{\mathcal {X}}^{i},$

jež kóduje zdroj $\scriptstyle ({\mathcal {X}}^{\ast },p^{\ast })$ s libovolným rozdělením pravděpodobnosti $\scriptstyle p^{\ast }$.

Kód nazýváme jednoznačně dekódovatelný, jestliže jeho rozšíření je nesingulární kód.

Mějme zprávu $\scriptstyle x\in {\mathcal {X}}$, resp $\scriptstyle x\in {\mathcal {X}}^{\ast }$ a kód $\scriptstyle C$, resp. $\scriptstyle C^{\ast }$. Řetězce $\scriptstyle C(x)$, resp. $\scriptstyle C^{\ast }(x)$ (tj. obrazy zprávy $\scriptstyle x$ při zobrazení $\scriptstyle C$, resp. $\scriptstyle C^{\ast }$) se pak nazývají kódová slova.