编码

编码

       编码是信息从一种形式或格式转换为另一种形式的过程。 编码是根据一定的协议或格式把模拟信息转换成比特流的过程。

       在计算机硬件中，编码（coding）是在一个主题或单元上为数据存储，管理和分析的目的而转换信息为编码（典型地如数字）的过程。在软件中，编码意味着逻辑地使用一个特定的语言如C语言或C++来执行一个程序。在密码学中，编码是指在编码或密码中写的行为。
       将数据转换为代码或编码字符，并能译为原数据形式。是计算机书写指令的过程，程序设计中的一部分。在地图自动制图中，按一定规则用数字与字母表示地图内容的过程，通过编码，使计算机能识别地图的各地理要素。
       n位二进制数可以组合成2的n次方个不同的信息，给每个信息规定一个具体码组，这种过程也叫编码。 
 数字系统中常用的编码有两类，一类是二进制编码，另一类是二—十进制编码。

         对于特定的上下文，编码有一些更具体的意义。

         编码(Encoding)在认知上是解释传入的刺激的一种基本知觉的过程。技术上来说，这是一个复杂的、多阶段的转换过程，从较为客观的感觉输入（例如光、声）到主观上有意义的体验。
        字符编码(Character encoding)是一套法则，使用该法则能够对自然语言的字符的一个集合（如字母表或音节表），与其他东西的一个集合（如号码或电脉冲）进行配对。
        文字编码(Text encoding)使用一种标记语言来标记一篇文字的结构和其他特征，以方便计算机进行处理。
        语义编码(Semantics encoding)以正式语言乙对正式语言甲进行语义编码，即是使用语言乙表达语言甲所有的词汇（如程序或说明）的一种方法。
        电子编码(Electronic encoding)是将一个信号转换成为一个代码，这种代码是被优化过的以利于传输或存储。转换工作通常由一个编解码器完成。
       神经编码(Neural encoding)是指信息在神经元中被如何描绘的方法。
       记忆编码(Memory encoding)是把感觉转换成记忆的过程。

        编码理论是数学和计算机科学的一个分支，处理在噪声信道传送资料时的错误倾向。按照编码理论，资料传送时会采用更好的方法以修正传送途中所产生的大量错误。

        编码共分两类：信源编码(数据压缩) ，信道编码(前向纠错)

　　哈夫曼编码(Huffman Coding)是一种编码方式，哈夫曼编码是可变字长编码(VLC)的一种。 Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长 度最短的码字，有时称之为最佳编码，一般就叫作Huffman编码。 以哈夫曼树─即最优二叉树，带权路径长度最小的二叉树，经常应用于数据压缩。

      戴维.哈弗曼。美国人。1990年10月7日逝世。他的一生中，他对于有限状态自动机，开关电路，信号设计有杰出贡献。1950年在MIT(麻省理工）的计算机理论和编码研究生班学习。Robert Fano教授让学生们自己决定是参加期末考还是做一大堆作业。而哈弗曼选择了后者，原因很简单，因为解决一大堆作业可能比期末考更容易通过。这个大作业促使了哈弗曼以后算法的诞生。离开MIT后，哈弗曼来到University of California的计算机系任教，并为此系的学术做出许多杰出的工作。而他的算法也广泛运用于传真机，图像压缩和计算机安全领域。但是哈弗曼从未为此算法提出专利和其他能够带来利益的东西，他将全部精力放在教学上。

       在计算机信息处理中，“哈夫曼编码”是一种一致性编码法（又称"熵编码法"），用于数据的无损耗压缩。这一术语是指使用一张特殊的编码表将源字符（例如某文件中的一个符号）进行编码。这张编码表的特殊之处在于，它是根据每一个源字符出现的估算概率而建立起来的（出现概率高的字符使用较短的编码，反之出现概率低的则使用较长的编码，这便使编码之后的字符串的平均期望长度降低，从而达到无损压缩数据的目的）。这种方法是由David.A.Huffman发展起来的。 例如，在英文中，e的出现概率很高，而z的出现概率则最低。当利用哈夫曼编码对一篇英文进行压缩时，e极有可能用一个位(bit)来表示，而z则可能花去25个位（不是26）。用普通的表示方法时，每个英文字母均占用一个字节（byte），即8个位。二者相比，e使用了一般编码的1/8的长度，z则使用了3倍多。倘若我们能实现对于英文中各个字母出现概率的较准确的估算，就可以大幅度提高无损压缩的比例。

       我用简单的C函数写这个编码是为了让它在任何地方使用都会比较方便。你可以将他们放到类中，或者直接使用这个函数。并且我使用了简单的格式，仅仅输入输出缓冲区，而不象其它文章中那样，输入输出文件。
　　bool CompressHuffman(BYTE *pSrc, int nSrcLen, BYTE *&pDes, int &nDesLen);
　　bool DecompressHuffman(BYTE *pSrc, int nSrcLen, BYTE *&pDes, int &nDesLen);
　　要点说明
　　速度
　　为了让它(huffman.cpp)快速运行，我花了很长时间。同时，我没有使用任何动态库，比如STL或者MFC。它压缩1M数据少于100ms（P3处理器，主频1G）。
　　压缩
　　压缩代码非常简单，首先用ASCII值初始化511个哈夫曼节点：
　　CHuffmanNode nodes[511];
　　for(int nCount = 0; nCount < 256; nCount++)
　　nodes[nCount].byAscii = nCount;
　　然后，计算在输入缓冲区数据中，每个ASCII码出现的频率：
　　for(nCount = 0; nCount < nSrcLen; nCount++)
　　nodes[pSrc[nCount]].nFrequency++;
　　然后，根据频率进行排序：
　　qsort(nodes, 256, sizeof(CHuffmanNode), frequencyCompare);
　　现在，构造哈夫曼树，获取每个ASCII码对应的位序列：
　　int nNodeCount = GetHuffmanTree(nodes);
　　构造哈夫曼树非常简单，将所有的节点放到一个队列中，用一个节点替换两个频率最低的节点，新节点的频率就是这两个节点的频率之和。这样，新节点就是两个被替换节点的父节点了。如此循环，直到队列中只剩一个节点（树根）。
　　// parent node
　　pNode = &nodes[nParentNode++];
　　// pop first child
　　pNode->pLeft = PopNode(pNodes, nBackNode--, false);
　　// pop second child
　　pNode->pRight = PopNode(pNodes, nBackNode--, true);
　　// adjust parent of the two poped nodes
　　pNode->pLeft->pParent = pNode->pRight->pParent = pNode;
　　// adjust parent frequency
　　pNode->nFrequency = pNode->pLeft->nFrequency + pNode->pRight->nFrequency;
　　这里我用了一个好的诀窍来避免使用任何队列组件。我先前就直到ASCII码只有256个，但我分配了511个(CHuffmanNode nodes[511])，前255个记录ASCII码，而用后255个记录哈夫曼树中的父节点。并且在构造树的时候只使用一个指针数组(ChuffmanNode *pNodes[256])来指向这些节点。同样使用两个变量来操作队列索引(int nParentNode = nNodeCount;nBackNode = nNodeCount –1)。
　　接着，压缩的最后一步是将每个ASCII编码写入输出缓冲区中：
　　int nDesIndex = 0;
　　// loop to write codes
　　for(nCount = 0; nCount < nSrcLen; nCount++)
　　{
　　*(DWORD*)(pDesPtr+(nDesIndex>>3)) |=
　　nodes[pSrc[nCount]].dwCode << (nDesIndex&7);
　　nDesIndex += nodes[pSrc[nCount]].nCodeLength;
　　}
　　(nDesIndex>>3): >>3 以8位为界限右移后到达右边字节的前面
　　(nDesIndex&7): &7 得到最高位.
　　注意：在压缩缓冲区中，我们必须保存哈夫曼树的节点以及位序列，这样我们才能在解压缩时重新构造哈夫曼树（只需保存ASCII值和对应的位序列）。
　　解压缩
　　解压缩比构造哈夫曼树要简单的多，将输入缓冲区中的每个编码用对应的ASCII码逐个替换就可以了。只要记住，这里的输入缓冲区是一个包含每个ASCII值的编码的位流。因此，为了用ASCII值替换编码，我们必须用位流搜索哈夫曼树，直到发现一个叶节点，然后将它的ASCII值添加到输出缓冲区中：
　　int nDesIndex = 0;
　　DWORD nCode;
　　while(nDesIndex < nDesLen)
　　{
　　nCode = (*(DWORD*)(pSrc+(nSrcIndex>>3)))>>(nSrcIndex&7);
　　pNode = pRoot;
　　while(pNode->pLeft)
　　{
　　pNode = (nCode&1) ? pNode->pRight : pNode->pLeft;
　　nCode >>= 1;
　　nSrcIndex++;
　　}
　　pDes[nDesIndex++] = pNode->byAscii;
　　}
　　过程
　　#include <stdio.h>
　　#include<stdlib.h>
　　#include<string.h>
　　#include<malloc.h>
　　#include<math.h>
　　#define M 10
　　typedef struct Fano_Node
　　{
　　char ch;
　　float weight;
　　}FanoNode[M];
　　typedef struct node
　　{
　　int start;
　　int end;
　　struct node *next;
　　}LinkQueueNode;
　　typedef struct
　　{
　　LinkQueueNode *front;
　　LinkQueueNode *rear;
　　}LinkQueue;
　　void EnterQueue(LinkQueue *q,int s,int e)
　　{
　　LinkQueueNode *NewNode;
　　NewNode=(LinkQueueNode *)malloc(sizeof(LinkQueueNode));
　　if(NewNode!=NULL)
　　{
　　NewNode->start=s;
　　NewNode->end=e;
　　NewNode->next=NULL;
　　q->rear->next=NewNode;
　　q->rear=NewNode;
　　}
　　else printf("Error!");
　　}
　　//***按权分组***//
　　void Divide(FanoNode f,int s,int *m,int e)
　　{
　　int i;
　　float sum,sum1;
　　sum=0;
　　for(i=s;i<=e;i++)
　　sum+=f.weight;
　　*m=s;
　　sum1=0;
　　for(i=s;i<e;i++)
　　{
　　sum1+=f.weight;
　　*m=fabs(sum-2*sum1)>fabs(sum-2*sum1-2*f.weight)?(i+1):*m;
　　if(*m==i)
　　break;
　　}
　　}
　　main()
　　{
　　int i,j,n,max,m,h[M];
　　int sta,mid,end;
　　float w;
　　char c,fc[M][M];
　　FanoNode FN;
　　LinkQueueNode *p;
　　LinkQueue *Q;
　　//***初始化队Q***//
　　Q->front=(LinkQueueNode *)malloc(sizeof(LinkQueueNode));
　　Q->rear=Q->front;
　　Q->front->next=NULL;
　　printf("\t***FanoCoding***\n");
　　printf("Please input the number of node:"); /*输入信息*/
　　scanf("%d",&n);
　　i=1;
　　while(i<=n)
　　{
　　printf("%d weight and node:",i);
　　scanf("%f %c",&FN.weight,&FN.ch);
　　for(j=1;j<i;j++)
　　{
　　if(FN.ch==FN[j].ch)
　　{
　　printf("Same node!!!\n");
　　break;
　　}
　　}
　　if(i==j)
　　i++;
　　}
　　for(i=1;i<=n;i++) /*排序*/
　　{
　　max=i+1;
　　for(j=max;j<=n;j++)
　　max=FN[max].weight<FN[j].weight?j:max;
　　if(FN.weight<FN[max].weight)
　　{
　　w=FN.weight;
　　FN.weight=FN[max].weight;
　　FN[max].weight=w;
　　c=FN.ch;
　　FN.ch=FN[max].ch;
　　FN[max].ch=c;
　　}
　　}
　　for(i=1;i<=n;i++) /*初始化h*/
　　h=0;
　　EnterQueue(Q,1,n); /*1和n进队*/
　　while(Q->front->next!=NULL)
　　{
　　p=Q->front->next; /*出队*/
　　Q->front->next=p->next;
　　if(p==Q->rear)
　　Q->rear=Q->front;
　　sta=p->start;
　　end=p->end;
　　free(p);
　　Divide(FN,sta,&m,end); /*按权分组*/
　　for(i=sta;i<=m;i++)
　　{
　　fc[h]='0';
　　h++;
　　}
　　if(sta!=m)
　　EnterQueue(Q,sta,m);
　　else
　　fc[sta][h[sta]]='\0';
　　for(i=m+1;i<=end;i++)
　　{
　　fc[h]='1';
　　h++;
　　}
　　if(m==sta&&(m+1)==end) //如果分组后首元素的下标与中间元素的相等，
　　{ //并且和最后元素的下标相差为1，则编码码字字符串结束
　　fc[m][h[m]]='\0';
　　fc[end][h[end]]='\0';
　　}
　　else
　　EnterQueue(Q,m+1,end);
　　}
　　for(i=1;i<=n;i++) /*打印编码信息*/
　　{
　　printf("%c:",FN.ch);
　　printf("%s\n",fc);
　　}
　　system("pause");
　　}
　　#include<stdio.h>
　　#include<stdlib.h>
　　#include<malloc.h>
　　#include<string.h>
　　#define N 100
　　#define M 2*N-1
　　typedef char * HuffmanCode[2*M];
　　typedef struct
　　{
　　char weight;
　　int parent;
　　int LChild;
　　int RChild;
　　}HTNode,Huffman[M+1];
　　typedef struct Node
　　{
　　int weight; /*叶子结点的权值*/
　　char c; /*叶子结点*/
　　int num; /*叶子结点的二进制码的长度*/
　　}WNode,WeightNode[N];
　　/***产生叶子结点的字符和权值***/
　　void CreateWeight(char ch[],int *s,WeightNode *CW,int *p)
　　{
　　int i,j,k;
　　int tag;
　　*p=0;
　　for(i=0;ch!='\0';i++)
　　{
　　tag=1;
　　for(j=0;j<i;j++)
　　if(ch[j]==ch)
　　{
　　tag=0;
　　break;
　　}
　　if(tag)
　　{
　　(*CW)[++*p].c=ch;
　　(*CW)[*p].weight=1;
　　for(k=i+1;ch[k]!='\0';k++)
　　if(ch==ch[k])
　　(*CW)[*p].weight++;
　　}
　　}
　　*s=i;
　　}
　　/********创建HuffmanTree********/
　　void CreateHuffmanTree(Huffman *ht,WeightNode w,int n)
　　{
　　int i,j;
　　int s1,s2;
　　for(i=1;i<=n;i++)
　　{
　　(*ht).weight =w.weight;
　　(*ht).parent=0;
　　(*ht).LChild=0;
　　(*ht).RChild=0;
　　}
　　for(i=n+1;i<=2*n-1;i++)
　　{
　　(*ht).weight=0;
　　(*ht).parent=0;
　　(*ht).LChild=0;
　　(*ht).parent=0;
　　}
　　for(i=n+1;i<=2*n-1;i++)
　　{
　　for(j=1;j<=i-1;j++)
　　if(!(*ht)[j].parent)
　　break;
　　s1=j; /*找到第一个双亲不为零的结点*/
　　for(;j<=i-1;j++)
　　if(!(*ht)[j].parent)
　　s1=(*ht)[s1].weight>(*ht)[j].weight?j:s1;
　　(*ht)[s1].parent=i;
　　(*ht).LChild=s1;
　　for(j=1;j<=i-1;j++)
　　if(!(*ht)[j].parent)
　　break;
　　s2=j; /*找到第一个双亲不为零的结点*/
　　for(;j<=i-1;j++)
　　if(!(*ht)[j].parent)
　　s2=(*ht)[s2].weight>(*ht)[j].weight?j:s2;
　　(*ht)[s2].parent=i;
　　(*ht).RChild=s2;
　　(*ht).weight=(*ht)[s1].weight+(*ht)[s2].weight;
　　}
　　}
　　/***********叶子结点的编码***********/
　　void CrtHuffmanNodeCode(Huffman ht,char ch[],HuffmanCode *h,WeightNode *weight,int m,int n)
　　{
　　int i,j,k,c,p,start;
　　char *cd;
　　cd=(char *)malloc(n*sizeof(char));
　　cd[n-1]='\0';
　　for(i=1;i<=n;i++)
　　{
　　start=n-1;
　　c=i;
　　p=ht.parent;
　　while(p)
　　{
　　start--;
　　if(ht[p].LChild==c)
　　cd[start]='0';
　　else
　　cd[start]='1';
　　c=p;
　　p=ht[p].parent;
　　}
　　(*weight).num=n-start;
　　(*h)=(char *)malloc((n-start)*sizeof(char));
　　p=-1;
　　strcpy((*h),&cd[start]);
　　}
　　system("pause");
　　}
　　/*********所有字符的编码*********/
　　void CrtHuffmanCode(char ch[],HuffmanCode h,HuffmanCode *hc,WeightNode weight,int n,int m)
　　{
　　int i,j,k;
　　for(i=0;i<m;i++)
　　{
　　for(k=1;k<=n;k++) /*从(*weight)[k].c中查找与ch相等的下标K*/
　　if(ch==weight[k].c)
　　break;
　　(*hc)=(char *)malloc((weight[k].num+1)*sizeof(char));
　　for(j=0;j<=weight[k].num;j++)
　　(*hc)[j]=h[k][j];
　　}
　　}
　　/*****解码*****/
　　void TrsHuffmanTree(Huffman ht,WeightNode w,HuffmanCode hc,int n,int m)
　　{
　　int i=0,j,p;
　　printf("***StringInformation***\n");
　　while(i<m)
　　{
　　p=2*n-1;
　　for(j=0;hc[j]!='\0';j++)
　　{
　　if(hc[j]=='0')
　　p=ht[p].LChild;
　　else
　　p=ht[p].RChild;
　　}
　　printf("%c",w[p].c); /*打印原信息*/
　　i++;
　　}
　　}
　　main()
　　{
　　int i,n,m,s1,s2,j; /*n为叶子结点的个数*/
　　char ch[N],w[N]; /*ch[N]存放输入的字符串*/
　　Huffman ht; /*二叉数 */
　　HuffmanCode h,hc; /* h存放叶子结点的编码，hc 存放所有结点的编码*/
　　WeightNode weight; /*存放叶子结点的信息*/
　　printf("\t***HuffmanCoding***\n");
　　printf("please input information :");
　　gets(ch); /*输入字符串*/
　　CreateWeight(ch,&m,&weight,&n); /*产生叶子结点信息，m为字符串ch[]的长度*/
　　printf("***WeightInformation***\n Node "); /*输出叶子结点的字符与权值*/
　　for(i=1;i<=n;i++)
　　printf("%c ",weight.c);
　　printf("\nWeight ");
　　for(i=1;i<=n;i++)
　　printf("%d ",weight.weight);
　　CreateHuffmanTree(&ht,weight,n); /*产生Huffman树*/
　　printf("\n***HuffamnTreeInformation***\n");
　　for(i=1;i<=2*n-1;i++) /*打印Huffman树的信息*/
　　printf("\t%d %d %d %d\n",i,ht.weight,ht.parent,ht.LChild,ht.RChild);
　　CrtHuffmanNodeCode(ht,ch,&h,&weight,m,n); /*叶子结点的编码*/
　　printf(" ***NodeCode***\n"); /*打印叶子结点的编码*/
　　for(i=1;i<=n;i++)
　　{
　　printf("\t%c:",weight.c);
　　printf("%s\n",h);
　　}
　　CrtHuffmanCode(ch,h,&hc,weight,n,m); /*所有字符的编码*/
　　printf("***StringCode***\n"); /*打印字符串的编码*/
　　for(i=0;i<m;i++)
　　printf("%s",hc);
　　system("pause");
　　TrsHuffmanTree(ht,weight,hc,n,m); /*解码*/
　　system("pause");
　　}

        1．ASCII与Binary 
      我们日常接触到的文件分ASCII和Binary两种。ASCII是“美国信息交换标准编码”的英文字头缩写，可称之为“美标”。美标规定了用从0到127的128个数字来代表信息的规范编码，其中包括33个控制码，一个空格码，和94个形象码。形象码中包括了英文大小写字母，阿拉伯数字，标点符号等。我们平时阅读的英文电脑文本，就是以形象码的方式传递和存储的。美标是国际上大部分大小电脑的通用编码。
　　然而电脑中的一个字符大都是用一个八位数的二进制数字表示。这样每一字符便可能有256个不同的数值。由于美标只规定了128个编码，剩下的另外128个数码没有规范，各家用法不一。另外美标中的33个控制码，各厂家用法也不尽一致。这样我们在不同电脑间交换文件的时候，就有必要区分两类不同的文件。第一类文件中每一个字都是美标形象码或空格码。这类文件称为“美标文本文件”(ASCII Text Files)，或略为“文本文件”，通常可在不同电脑系统间直接交换。第二类文件，也就是含有控制码或非美标码的文件，通常不能在不同电脑系统间直接交换。这类文件有一个通称，叫“二进制文件”(Binary Files)。
　　2．国标、区位、“准国标”
　　“国标”是“中华人民共和国国家标准信息交换用汉字编码”的简称。国标表（基本表）把七千余汉字、以及标点符号、外文字母等，排成一个94行、94列的方阵。方阵中每一横行叫一个“区”，每个区有九十四个“位”。一个汉字在方阵中的坐标，称为该字的“区位码”。例如“中”字在方阵中处于第５４区第４８位，它的区位码就是5448。
　　其实94这个数字。它是美标中形象码的总数。国标表沿用这个数字，本意大概是要用两个美标形象符代表一个汉字。由于美标形象符的编码是从33到126，汉字区、位码如果各加上32，就会与美标形象码的范围重合。如上例“中”字区、位码加上32后，得86,80。这两个数字的十六进制放在一起得5650，称为该字的“国标码”，而与其相对应的两个美标符号，VP，也就是“中”字的“国标符”了。
　　这样就产生了一个如何区分国标符与美标符的问题。在一个中英文混用的文件里，“VP”到底代表“中”字呢，还是代表某个英文字头缩写？电子工业部第六研究所开发CCDOS的时候，使用了一个简便的解决方案：把国标码的两个数字各加上128，上升到非美标码的位置。（改变后的国标码，习惯上仍叫“国标”。）
　　这个方案固然解决了原来的问题，可是新的问题随之产生。中文文件成了“二进制文件”，既不能可靠地在不同电脑系统间交换，也不与市场上大部分以美标符号为设计对象的软件兼容。
　　为了区分以上两种“国标”，我们把原与美标形象码重合的国标码称为“纯国标” ，而把CCDOS加上128的国标码称为“准国标”。
　　3．GBK码：
　　GBK码是GB码的扩展字符编码，对多达2万多的简繁汉字进行了编码，简体版的Win95和Win98都是使用GBK作系统内码。
　　从实际运用来看，微软自win95简体中文版开始，系统就采用GBK代码，它包括了TrueType宋体、黑体两种GBK字库（北京中易电子公司提供），可以用于显示和打印，并提供了四种GBK汉字的输入法。此外，浏览器IE4.0简体、繁体中文版内部提供了一个GBK-BIG5代码双向转换功能。此外，微软公司为IE提供的语言包中，简体中文支持（Simplified Chinese Language Support Kit）的两种字库宋体、黑体，也是GBK汉字（珠海四通电脑排版系统开发公司提供）。其他一些中文字库生产厂商，也开始提供TrueType或PostScript GBK字库。
　　许多外挂式的中文平台，如南极星、四通利方（Richwin）等，提供GBK码的支持，包括字库、输入法和GBK与其他中文代码的转化器。
　　互联网方面，许多网站网页使用GBK代码。
　　但是多数搜索引擎都不能很好的支持GBK汉字搜索，大陆地区的搜索引擎有些能不完善的支持GBK汉字检索。
　　其实，GBK是又一个汉字编码标准，全称《汉字内码扩展规范》（Chinese Internatial Code Specification），1995年颁布。GB是国标，K是汉字“扩展”的汉语拼音第一个字母。
　　GBK向下与GB-2312编码兼容，向上支持ISO 10646.1国际标准，是前者向后者过渡的一个承启标准。
　　GBK规范收录了ISO 10646.1中的全部CJK汉字和符号，并有所补充。具体包括：GB 2312中的全部汉字、非汉字符号；GB 13000.1中的其他CJK汉字。以上合计20902个GB化汉字；《简化总表中》未收入GB 13000.1的52个汉字；《康熙字典》以及《辞海》中未被收入GB 13000.1的28个部首及重要构件；13个汉字结构符；BIG-5中未被GB 2312收入、但存在于GB 13000.1的139个图形符号；GB 12345增补的6个拼音符号；GB 12345增补的19个竖排图形符号（GB 12345较GB 2312增补竖排标点符号29个，其中10个未被GB 13000.1收入，故GBK亦不收）；从GB 13000.1的CJK兼容区挑选出的21个汉字；GB 13000.1收入的31个IBM OS/2专用符号。GBK亦采用双字节表示，总体编码范围为0x8140~0xFEFE之间，首字节在0x81~0xFE之间，尾字节在0x40~0xFE之间，剔除0x××7F一条线，总计23940个码位，共收入21886个汉字和图形符号，其中汉字（包括部首和构件）21003个，图形符号883个。
　　4．BIG5码：
　　BIG5码是针对繁体汉字的汉字编码，目前在台湾、香港的电脑系统中得到普遍应用。BIG5码的编码范围参考下文。
　　5．HZ码：
　　HZ码是在Internet上广泛使用的一种汉字编码。“HZ”方案的特点，是以“纯国标”的中文与美标码混用。那么“HZ”是怎样区分国标符和美标符的呢？答案其实也很简单：当一串美标码中间插入一段国标码的时候，我们便在国标码的前面加上~，后面加上~。这些附加码分别叫“逃出码”和“逃入码”。 由于这些附加码本身也是美标形象码，整个文件就俨然是一个美标文本文件，可以安然地 在电脑网上传递，也和大部分英文文本处理软件兼容。
　　6．ISO－2022CJK码：
　　ISO-2022是国际标准组织（ISO）为各种语言字符制定的编码标准。采用二个字节编码，其中汉语编码称ISO-2022 CN，日语、韩语的编码分别称JP、KR。一般将三者合称CJK码。目前CJK码主要在Internet网络中使用。
　　7．UCS 和 ISO 10646：
　　1993年，国际标准ISO10646 定义了通用字符集 (Universal Character Set, UCS)。 UCS 是所有其他字符集标准的一个超集。它保证与其他字符集是双向兼容的。就是说, 如果你将任何文本字符串翻译到 UCS格式，然后再翻译回原编码, 你不会丢失任何信息。
　　UCS 包含了用于表达所有已知语言的字符。不仅包括拉丁语，希腊语，斯拉夫语,希伯来语,阿拉伯语,亚美尼亚语和乔治亚语的描述， 还包括中文，日文和韩文这样的象形文字，以及平假名，片假名，孟加拉语, 旁遮普语果鲁穆奇字符(Gurmukhi)， 泰米尔语， 印.埃纳德语(Kannada)，Malayalam，泰国语, 老挝语， 汉语拼音(Bopomofo)， Hangul，Devangari，Gujarati， Oriya，Telugu 以及其它语种。对于还没有加入的语言, 由于正在研究怎样在计算机中最好地编码它们， 因而最终它们都将被加入。这些语言包括Tibetian，高棉语，Runic(古代北欧文字)，埃塞俄比亚语， 其他象形文字，以及各种各样的印-欧语系的语言，还包括挑选出来的艺术语言比如 Tengwar，Cirth 和 克林贡语(Klingon)。UCS 还包括大量的图形的，印刷用的，数学用的和科学用的符号，包括所有由 TeX，Postscript， MS-DOS，MS-Windows， Macintosh， OCR 字体， 以及许多其他字处理和出版系统提供的字符。
　　ISO 10646 定义了一个 31 位的字符集。 然而, 在这巨大的编码空间中, 迄今为止只分配了前 65534 个码位 (0x0000 到 0xFFFD)。这个UCS的16位子集称为基本多语言面 (Basic Multilingual Plane, BMP)。 将被编码在16位BMP以外的字符都属于非常特殊的字符(比如象形文字), 且只有专家在历史和科学领域里才会用到它们。按当前的计划, 将来也许再也不会有字符被分配到从0x000000到0x10FFFF这个覆盖了超过100万个潜在的未来字符的 21 位的编码空间以外去了。ISO 10646-1标准第一次发表于1993年, 定义了字符集与 BMP 中内容的架构。定义 BMP以外的字符编码的第二部分 ISO 10646-2 正在准备中, 但也许要过好几年才能完成。新的字符仍源源不断地加入到 BMP 中, 但已经存在的字符是稳定的且不会再改变了。
　　UCS 不仅给每个字符分配一个代码, 而且赋予了一个正式的名字。表示一个 UCS 或 Unicode 值的十六进制数, 通常在前面加上 “U+”, 就象U+0041 代表字符“拉丁大写字母A”。UCS字符U+0000到U+007F 与 US-ASCII(ISO 646) 是一致的， U+0000 到 U+00FF 与 ISO 8859-1(Latin-1) 也是一致的。从 U+E000 到 U+F8FF，已经BMP 以外的大范围的编码是为私用保留的。
　　1993年，ISO10646中定义的USC-4 (Universal Character Set) ，使用了4 个字节的宽度以容纳足够多的相当可观的空间，但是这个过于肥胖的字符标准在当时乃至现在都有其不现实的一面，就是会过分侵占存储空间并影响信息传输的效率。 与此同时，Unicode 组织于约 10 年前以 Universal, Unique和Uniform 为主旨也开始开发一个16位字符标准， 为避免两种16位编码的竞争，1992年两家组织开始协商，以期折衷寻找共同点，这就是今天的 UCS-2 (BMP，Basic Multilingual Plane，16bit) 和Unicode，但它们仍然是不同的方案。
　　8．Unicode码：
　　关于Unicode我们需要追溯一下它产生的源源。
　　当计算机普及到东亚时，遇到了使用表意字符而非字母语言的中、日、韩等国家。在这些国家使用的语言中常用字符多达几千个，而原来字符采用的是单字节编码，一张代码页中最多容纳的字符只有28=256个，对于使用表意字符的语言是在无能为力。既然一个字节不够，自然人们就采用两个字节，所有出现了使用双字节编码的字符集(DBCS)。不过双字节字符集中虽然表意字符使用了两个字节编码，但其中的ASCII码和日文片假名等仍用单字节表示，如此一来给程序员带来了不小的麻烦，因为每当设计到DBCS字符串的处理时，总是要判断当中的一个字节到底表示的是一个字符还是半个字符，如果是半个字符，那是前一半还是后一半？由此可见DBCS并不是一种非常好的解决方案。
　　人们在不断寻找这更好的字符编码方案，最后的结果就是Unicode诞生了。Unicode其实就是宽字节字符集，它对每个字符都固定使用两个字节即16位表示，于是当处理字符时，不必担心只处理半个字符。
　　目前，Unicode在网络、Windows系统和很多大型软件中得到应用。

    相关链接：http://baike.baidu.com/view/237708.htm