信源编码

信源编码定义：信源的相对率（信息效率）为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。信源编码和码的分类1.编码的定义和基本概念2.码的分类码的分类：定长码：码中所有码字的长度都相同。可变长度码：码中码字的长度不相同。码字与信源符号一一对应奇异码：码字与信源符号不能一一对应。非奇异码：唯一可译码：任意有限长度的码元序列，只能被唯一地分割为一个个码字，则称为唯一可译码。否则为非唯一可译码。任何一个码字不是其它码字的延长或前缀即时码与非即时码：一个唯一可译码，在接收端收到一个完整码字后，是否能立即译码。能即时译码，为即时码。否则为非即时码。即时码与码树：即时码可用码树来构造。构造方法的要点。唯一可译码定理定理：设信源S的符号集为S：{s1,s2,…,sq}，码符号集X:{a1,a2,…,ar}，又设码字为W:{w1,w2,…,wq}其码长分别为n1,n2,…,nq。则存在唯一可译码的充分必要条件是：q，r，ni(i=1,2,…,q)满足克劳夫特（Kraft）不等式，即：定长编码定理：（1）由L个符号组成，每个符号的熵为H(X)的无记忆平稳信源X1X2…XL,可用K个符号Y1，Y2，…,YK(每个符号有r种可能性）。定长编码定理：（2）反之对离散单符号信源，符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，变长编码定理（1）：对离散平稳无记忆信源，消息长度为L，平均符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，变长编码定理（2）：平均信息率：编码效率：最佳编码效率：香农编码费诺编码哈夫曼编码编码方法：编码方法的比较：香农码、费诺码和哈夫曼码均基于信源的统计特性，编码原则均是：出现频率高的信源符号使用较短的码字。香农码有系统的、唯一的编