计算机中的汉字[轉]

superzch

一、几个基本概念
　　1、bit 与  byte
　　bite 是二进制的即0和1，译作比特。
　　Byte是指八个bit，代表一个Ansi或Ascii 代码，即一个英文字母，译作字节。由于汉字使用了16位（比特）代码，所以称为双字节。
　　其换算关系很简单，一byte等于八bit。
　　2，ANSI码，ANSI是（American National Standard Institude）的简写。ANCII是American Standard Code for Information Interchange的简写。
　　ANSI是以标准的八位来显示一个字符的，可以代表256字。基本上包括了拉丁语系中所需要的全部字符。起初美国人认为7位（比特）就足够了，因为2的7次方等于128，而英文字母只有26个，大小写加一起52个，再加上十个数字，几个标点和数学运算符号，也够了。所以就制定了ANCII七位的代码系统，这七位的代码系统的128位与ANSI的256中的前128完全一致，加之现在的计算机系统都能自动分别，所以，这两个概念也就不太分别了。

superzch

二、GB 2312 汉字编码字符集
GB2312码是中华人民共和国国家标准汉字信息交换用编码，全称《信息交换用汉字编码字符集?基本集》，标准号为GB 2312—80（GB是“国标”二字的汉语拼音缩写），由国家标准总局发布，1981年5月1 日实施。习惯上称国标码、GB码，或区位码。它是一个简化字汉字的编码，通行于中国大陆地区。新加坡等地也使用这一编码。
　　GB 2312—80收录简化汉字及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母，共7445个图形字符。其中汉字以外的图形字符682个，汉字6763个。由于6763比那GB 2312-80要好记得多，尤其是在GBK也流行的时代，人们总是习惯用6763来代指那通行（同时也让我们痛苦了）若干年的字符系统。
　　GB 2312-80规定，“对任意一个图形字符都采用两个字节（Byte）表示。每个字节均采用GB 1988-80及GB 2311-80中的七位编码表示。两个字节中前面的字节为第一字节，后面的字节为第二字节。”习惯上称第一字节为“高字节”（Upper），第二字节为“低字节”（low）。
　　GB 2312-80将代码分为94个区（Section），对应第一字节，每个区94个位（Position），对应第二字节。两个字节的值，分别为区号值和位号值各加32（20H）。我们通常所说的区位便由此而来。
　　GB 2312-80规定，01~09区（原规定为1~9区，为表示区位码方便起见，现改称01~09区）为符号、数字区，16~87区为汉字区。而10~15区、88~94区是有待于“进一步标准化”的“空白位置”区域。便第10区推荐与第3区的94个图形字符（即GB1988-80中的94个图形字符）相同，字形宽度为其宽度的一半。）
　　GB 2312-80把收录的汉字分成两级。第一级汉字是常用汉字，计3755个，置于16~55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字，计3008个，置于56~87区，按部首/笔区顺序排列。字音以普通话审音委员会发表的《普通话导读词三次审音总表初稿》（1963年出版）为准，字形以中华人民共和国文化部、中国文字改革委员会公布的《印刷通用汉字字形表》（1964年出版）为准。
　　例：汉字“啊”，第一字节为0110000，第二字节为0100001，即16区、01位，用16。
这些字的来源我不知道是根据什么，但就我处理文献的情况看，有些是对很常用的字，如用于人名的“璟”字，一是明代著名戏曲理论家“沈璟”，一是南唐中主（同时又是文学家）“李璟”，出现频率比较高，但却汉有收有6763之中，而象“芏”“塄”“蓥”等近千字几乎用不上的字却占据着极紧张的资源。
　　以后的GBK更有这种情况。

superzch

三、GB/T12345 汉字编码字符集
　　GB/T12345和GB2312一样，是中华人民共和国国家标准汉字信息交换用编码，全称《信息交换用汉字编码字符集辅助集》，标准号为GB/T12345-90，中华人民共和国国家技术监督局1990年6月13日发布，1990年12月1日实施。
　　GB/T12345-90是一个关于繁体汉字的编码标准。所谓“辅助集”，是与“基本集”（GB2312-80）相对应而言。即：GB/T12345是“与GB2312相对应的图形字符集。原则上，本字符集是将GB2312中的简化字用相应的繁体字替换而成。因此，这些替代的繁体字具有与被替代的简化字相同的编码；未曾简化的汉字以及非汉字图形字符，仍是GB2312中的汉字及图形字符，并具有与之相同编码。”
　　关于繁体字替换简化字的原则，GB/T12345注明：“本标准原则是按照《简化字总表》中所列繁体字与简化字的对应关系进行替换。”《简化字总表》由中国文字改革委员会1964年5月发表，后经国家语言文字工作委员会作个别修订，国务院1986年6月4日批准重新发表。
　　除了以上的根本差异外，GB/T12345与GB2312的区别还有以下几点：1，增补了个别图形字符，共收录7583个图形字符：汉字以外的图形字符716个，汉字6866个（其中一级汉字3755个，二级汉字3008个，增补汉字103个。）
　　a，“根据排版需要，增补了竖排标点符号29个，这些字符增补于6区57位至85位。”
　　b，“根据GB5007.1（《信息交换用汉字24×24点阵字模集》），增加了6个汉语拼音用图形字符，这些字符增补于8区27位至32位。”
　　c，“GB2312中，由于60年代汉字简化被精简的字有103个，这些被精简的字根据繁体字处理系统的需要增补于88~89区。”所谓精简，即废除某个繁体字，而用另一个字代替，如废除“雲”字，而以“云”字代替。由此形成一个简化字对应两个或两个以上繁体字的现象。
　　2，GB/T12345规定的在七位环境中指明图形字符集的转义序列不同，同时规定了在八位环境中的转义序列。
　　GB/T12345没有指明其字符集字形依据，便它使用的繁体汉字，与《简化字总表》中所使用的字形一致。其绝大多数汉字，使用了“新字形”。例如，“产”的繁体字，它使用了新字形“產”，而不自旧字形“產”。因此，一些旧字形与新字形的差异，被视为字形的差异（异体字），而不是繁体与简体的差异。如：收录“奂”“换”“唤”，而不用“奐”“換”“喚”，即因为“奐”是旧字形，而非繁体字。但是其中极个别字又使用了旧字形，如“为”“伪”的繁体字，使用了旧字形“爲”“僞”，而上用新字形“為”“偽”。关于新旧字形，可参见中国社会科学院语言研究所编纂的《现代汉语词典》（商务印书馆1978年第一版）、《新华字典》（商务印书馆1979年修订版）所附的《新旧字形对照表》，以及辞海编辑委员会编纂的《辞海》（上海辞书出版社1979年出版）所附的《新旧字形对照举例》。
关于被精简的汉字：
　　1，88~89区所列的103个汉字，GB/T12345称为“60年代汉字简化时被精简的字。”，这一表达不完全准确。例如：，“丰”与“豐”，汉字简化时精简了“豐”字，以“丰”字替代，而GB/T12345将被精简的“豐”字，作为“丰”的繁体，置于23~65，而将“丰”字置于88~19。类似的情况占其103字的三分之一左右。
　　2，所谓103个“被精简的汉字”，只是被精简的“繁体字”，而未包括被精简（废除）的“异体字”。例如，“昇”和“陞”，作为“升”的异体字，被停止使用，GB/T12345亦未收录。相关的法定文件为中华人民共和国文化部、中国文字改革委员会1955年6月发布的《第一批异体字整理表》，该表列出异体字810组，1865字，并规定废除异体字1055个。一些异体字，习惯上也被看作是简化字，所以，《简化字总表》特地从《第一批异体字整理表》中选出39个异体字，列为附录。
　　3，按照汉字简化原则，在容易引起歧义时不简化。例如“余”和“餘”，《简化字总表》对“餘”字的脚注说；“在余和餘意义可能混淆时，仍用餘，如文言句“餘年无多”。同时，有些汉字只简化其字义的某一个或几个义项，如徵，在象徵等义项上被简化为征，而在音乐调值的义项上（即宫商角徵羽的徵，读作zhi[止]），并不简化。因此在GB2312中，保留了个别繁体（或异体）字，也就是说，同时收录了一个字的简体和繁体（或异体），这包括“干乾、后後、伙夥、么麽、于於、余餘、折摺、征徵”等。作为与GB2312对应的繁体编码，GB/T12345在这些字上处理较混乱。例如：GB/T12345将“伙”置于27-79，“夥”置于66-23，与GB2312編碼相同，即，以“伙”對應“伙”，以“夥”對應“夥”。另一種情況是，GB/T12345將“後”置于26-83，对应GB2312的“后”，将“後”置于65-65，对应GB2312的“後”；将“徵”置于53-87，对应GB2312的“征”，将“征”置于65-71，对应GB2312的“徵”，显然不当。
　　注：
　　1，以上代码表，除06、08区增补符号用GIF图形编制外，其他均使用GBK代码编制，只有在你的电脑能完全正确GBK汉字时，才能保证看到的上表与GB/T12345标准印刷件（中国标准出版社1991年10月版）相同的字形。
　　2，尽管满足查看GBK汉字的条件，仍有两个汉字的显示，与GB/T12345标准印刷件有所差异。两个字的代码为47-22、80-89。第一字的印刷件字形，未列入有关简化字的法定文件，但习惯上被视为“隙”的繁体，而GBK编码未收录此字，无法显示，故以“隙”替代。第二字的印刷件字形，系对应简体“瘞”，按照《简化字总表》第二表《可作简化偏旁的简化字和简化偏旁》，“夾”简化为“夹”，所以，“瘗”对应的繁体字，应该是“瘗”，同时，印刷件上的此字不见于字书，因此它可能是排版时错误，故上表使用了“瘗”字。
　　3，01~15区的符号和空白位置，除增补者以外，与GB2312的符号、编码位置完全相同。

superzch

四、BIG-5字符集
　　BIG-5码是通行于台湾、香港地区的一个繁体字编码方案，俗称“大五码”。它并不是一个法定的编码方案，存在着一些瑕疵，业界的评价也不高，但它广泛地被应用于电脑业，尤其是在国际互联网中，从而成为一种事实上的行业标准。
　　关于BIG-5码的背景，一直未见详细记载，简单介绍如下：
　　1983年10月，台湾国家科学委员会、教育部汉字推行委员会、中央标准局、行政院主计处电子资料处理中心共同制定了《通用汉字标准交换码》（chinese  Ideographic  standard  code for  information  interchange ，简称CISCII码），经试用修订，1986年8月4日由台湾中央标准局公布为法定标准，标准编号为CNS 11643。这一标准于1992年5月21日重新修订公布，更名为《中文标准交换码》（chinese standard  interchange  code）.1995mm 1 月4日，台湾中央标准局又公布了CNS 11643-1《中文标准交换码使用方法》。
　　BIG-５码是1984年台湾信息工业促进会根据《通用汉字标准交换码》制订的编码方案。至于为何称为“BIG-5”。
　　BIG-5码是一个双字节编码方案，其第一字节的值在16进制的AO~FE之间，第二字节在40~7E和A1~FE之间。因此，其第一字节的最高位是1，第二字节的最高位则可能是1，也可能是0。
BIG-5码的图形符号及汉字，基本与CNS 11643标准的第一、第二字面（Plane）一致，它收录13461个符号和汉字，包括：
　　1，符号408个，编码位置为A140~A3FE（实际止于A3BF，末尾有空白位置。）
　　2，汉字13053个，分为常用字和次常用字两部分，各部分中的汉字按笔划/部首排列。其中：
　　a，常用字5401个，编码位置为A440~C67E。包括台湾教育部颁布的《常用汉字标准字体表》中的全部汉字4808个，台湾国中国小教科书常用字587个，异体字6个。
B，次常用字7652个，编码位置为C940~F9FE（实际止于F9D5，末尾有空白位置）。包括台湾教育部《次常用汉字标准字体表》的全部汉字6341个，《罕用汉字标准字体表》中使用频率较高的字1311个。
　　其余的A040~A0FE、C6A1`FEFE为空白区域。一些空白位置，经常被用于用户造字区，而且多存放香港常用字和粤语方言字。
　　现在流行的BIG-5码字库，在F9D6~F9DC位置大都有7个常用字，据说为倚天系统所增。若计此7字，则全数为13060个汉字，13468个汉字和符号。此外，一些BIG-5码字库，如Windows繁体中文版的True Type细明体（华康科技提供，2.0版），在F9DD~F9FE位置还有33个制表符和1个“■”符号。

superzch

五，BIG5+码
　　1，编订BIG5+码之缘起
台湾行政院协助解决众多使用BIG5码政府单位于进行公文电子传递时寓到自造字无法转换CNS问题，而于数次会商后决议成立专案委托中文电脑基金会办理[BIG5码字集扩编计划]，86年7月扩编完成。
　　2，编码原则
BIG5+码系以CNS为蓝本，共增编标准字集4760个字符与推荐字集3250个字符；其标准字集即纳编CNS第3字面字集内之4145个，第4个字面字集内之219个字，均为一般文书常用之中文字，如推广应用于研究发新版中文软体，则估计可解决80％的BIG5自造字转换CNS交换码问题。
（一），长度仍为双字节，即高字节之第一位元（MSB）=1。
（二），保留原有之标准字集字区及使用者加字区，使与原有系统具相容性。
（三），以国家标准（CNS11643）及国际标准（ISO10646）字集为字源范围，并依CNS之序编入。
（四）包含于ISO10646或CNS11643字集内且市面已广为使用之倚天自造字及符号，编入标准字集并保留原码位。
（五），单独成字之部首不再重覆编码（如金、木、水、火、土）。
（六），有重复的字删除其后者，错字则依CNS修正之。
　　3，字码架构
（一），总码位：由原有之19782个扩大为23940个（高字节为81-FE，低位元组为40-7E、80-FE）。
（二）编码区间
　　a，第一标准字集：此区即原BIG-5码标准字集但删除22个重字，编码范围为A140-F9FE（高字节为A1-F9，低字节为40-7E、A1-FE）。共有13973个字符，包括常用汉字5401个（A440-C67E），次常用汉字7693个（C940-F9D5）及符号471个（A140-A3FE）、字符408个（C6A1-C8FE）。
　　b，第二标准字集：此区即扩编部分，编码范围为8180-FEA0（高字节为81-F9，低字节为80-A0）。共收编罕用汉字4158个。
　　c，CMEX推荐字集：因BIG-5码系统之编码位置有限，未能编入第一及第二标准字集之较常用罕用及异体汉字、简体字与日韩汉字3454个，经中推会（CMEX）建议集中收编于此区。编码范围为原造字区之8140-83FE、8E40-A0FE（高字节为81-83、8E-A0，低字节为40—7E、A1-FE）。
　　d，造字区：仅使用第二标准字集时，仍保留5809个码位供使用者造字，可编码区间不变；但同时使用推荐字集时，因BIG5+码之推荐字集系使用原造字区之8140-83FE及8E40-A0FE，供造字之码位仅余2355个，可编码区间为FA40-FEFE（785个码位）、8440-8DFE（1570个码位）。
　　e，使用者专用字集：为使各行业专用之字集亦能进行信息交换，向中推会申请登记ID后，将ID字形等依照 输规定传出供对方显示或列印。
　　使用者专用字集之编码区与CMEX推荐字集相同，亦使用到原造字区。
　　4，可用之工具
（一），24＊24点阵字形档。
（二），注音符号、仓颉码属性档。
（三），CNS11643、ISO10646码对照档。
（四），BIG5+〈——〉ISO10646转码程序。
（五），BIG5+〈——〉CNS11643转码程序。
（六）BIG-5码自造字转BIG-5码管理程序。
（七）BIG-5自造字转码程序。
　　5，使用方法
　　因BIG5+码在标准字集外尚提供推荐字集，各单位可依自己原有造字情况选择适当之使用方法：
　　（一）字集之使用1.以下情可使用全字集（即第一、第二标准字集及推荐字集，共21585个字符）
（1），全无自造字者。
（2），原来已有自造字，其编码区间未与推荐字集重叠者，（即FA40—FEFE及8440-8DFE以外）
（3），原来已有自造初开球编码区间虽与推荐字集重叠，但可全部转换为新码者。
（4），原来已有自造字，但经转换为新码后剩余自造字未超过2355个，且可以或原意改置于FA40-FEFE及8440-8DFE以外者。2.以下情况仅使用标准字集（即第一与二标准字集，共13461个字符）：
（1），有自造字，但转码后剩余自造字仍超过2355个者。
（2），原有自造字耸部或部分落于FA40-8440-8DFE两个造字区（推荐字集使用范围）内，不易或不愿转换为新码者。
（二）字形转输与交换规格之使用
BIG-5码虽已扩编，但其余未能纳入自造字及未来不断新增之自造字，依旧会产生交换及传送问题；为使这些自造字于网路传输及档案交换时，仍可作字形显示与列印，特订定以下几项规格：1，文件档案交换传输规格，依SGML（ISO8879）格式及CNS（ISO9541）字形资讯交换规格，订定SGML文件档案内字形应含之参数。2，中文周边装置字形下载规格：包括中文终端机、打印机及其他终端设备，系依CNS13479（ISO6429）规范订定字形下载之规格。
（三）用户需准备之工作
BIG-5码编扩编后纳入之自造字，如不作转码，将来交换时一定会发生一字两码的问题，因此在BIG5+码之新版中文系统软体推出前，用户必需先转换现在自造字之旧码，其程序如下：1，建立自造字之旧码与扩编后新码对照表：各单位之造字区管理者可利用第六项工具[BIG5自造字转标准字对照表管理程式]比对造字区内自造字后建立单位内新/旧码对照表。2，清查需要转码之资料档：各单位或集中或各自处理，均必需先清查所有用过原造字区字码之料档，以备进行转码。3，自造字旧码之转换：各项业务负责人或各使用者可利用第七项工具[BIG5自造字转标准字转换程式]及所建立之单位内新/旧码对照表，将所有的[文字档（.txt。）原用之自编旧码转换为BIG5+新码。4，单位内造字区之重整；为避免转码后发生一字两码之现象，各单位原有之造字区应作整理，删除已编入BIG5+码系统者，其余自造字则保留原编码或重新编码（重整造字区）。
6，应用现况
台湾厂商如：芙蓉坊、昌泰科枝、大同、倚天等公司已将BIG5+码应用于新产品中。

superzch

六、台湾制定的CNS11643
　　1，编订中文标准交换码之缘起
　　72年10月由台湾科学委员会、教育部、中央标准局及本中心合编[通用汉字标准交换码]后决议试用二年；试用期满，经检讨修正重编并向中央标准局申请订为国家标准，75年8月4日获该局审定公布国家标准，编号[CNS11643]；81年51 21日再由该局因应实际需要修订扩编，并更名为[中文标准交换码（chinese standard interchange code）]。
　　2，CNS11643之适用范围
　　本标准适用于中文信息之处理。
　　3，编码之各项考虑
　　中文信息标准交换码是否能普遍地推广使用，使一般使用者共同乐意接受，端视其是否具有实用性，因此本码之编码原则研订时，曾先就标准码的结构、编码需求等作多方面的周密考虑。
　　（一），以教育部所公布的四个字体表之字集为范围。
　　（二），根据使用的频率及范围，整理后分别编排于各个字面，以适应各个层次之使用者。
　　（三），符合国际信息传输上所使用之CNS5205[信息处理及交换用七位码字符集]及CNS7654[信息处理-七位及八位码字符集-延码技术]标准通信定则。
　　（四）涵盖常用之外语字母及工商界与学校所使用之文字及符号。
　　4，字集编排原则
　　（一），中文标准交换码分为十六个字面，每个字面可陈列94列＊94行，即8836个字符。目前第一至第七字面列有字集，第八至第十一字面预留扩编之用；第十二至第十六字面则为使用者加字区，凡未收于本码系统之中文及符号，他用者可视需要自行编订于加字区使用。
　　总支持文字量达141376个。
　　（二）各字面字集排列大抵依使用频率为次序，每一字面以常用字为主，第二字面以次常用字为主，第三字面以部分罕用字及较常用异体字为主，第四字面以ISODIS10646第二版之汉字、各单位/信息业用字及户政用字为主，第五字面以罕用字为主，第六、第七字面以异体字为主。其中第一第二字面字集先于民国七十五年八月四日公布为国家标准。
　　5，字码编排原则
　　（一），文字之选择及字体悉依教育部[汉字标准字体表]为基准。说明：中国文字的困扰主要有两方面，一是文字的数量太大，二是异体字繁多。实际上一般人常用的不过七千字左右，新字又不断的增加，造成中文资料处理上的困难；而教育部的标准字体表之字集系经多年之搜集、考证、分析、选取，为较不偏颇，最具客观性之用字字集，应能符合一般使用者之需求。
　　（二），以2个字节（bytes）为中文码编码单位，并以十六进位制之文数字表示之。说明：[以2个字节为字码单位，于处理时可增加信息传输之速度]，符合一般资料处理作业之需要。采用十六进位制数字编码，系因应资料处理人员惯用之进位法，用以表示两字节最为简明。
　　（三）符合CNS5205及CNS7654之通信定则。说明：本编码为符合CNS5305及CNS7654通信定则之规定，所有控制码均予避开，即字码中之00至20以及7F均予避开，则7BIT字码集共有94个编码位置，两个字节革命可编8836个中文字码，订为一字面。
　　（四），依字之使用频率而编排于各不同字面。说明：在做信息传输时，若欲传送出现在不同字面上的字，必须先送出转字面控制码。为提高传输效率，常会一起出现的字编在同一字面中，可减低字面转换的次数。
　　（五），使先笔画后部首的排列顺序来编订字码。说明：每一字面均按文字灭口笔画数为首序编订字码，使用者以笔画数即可查寻字码。
　　六、字集之说明
　　第一字面：本编码系统为减少字面转换次数，特编最常用之中文字及符号、字母、部首等于第一字面；所编字汇及码区分别说明如下：
　　1，符号区
　　符号区之编码位置规划于第一字面之2121至427E，有3102个编码位置，目前暂编符号684个，所余空位供尔后增添之用。
　　已编入之特殊符号及文字类别如下：
　　（1），间隔符号1个。
　　（2），标点符号28个。
　　（3）括号及制表符号89个。
　　（4），一般符号34个。
　　（5）、学术符号51个。
　　（6）、单位符号31个。
　　（7）数字符号42个，包括阿拉伯数字10个，罗马数字大小写共20个，中国数字12个。
　　（8）外文字母100个，包括大写英文字母，小字英文字母各26个，大写希腊字母、小写希腊字母各24个。
　　（9）汉字注音符号42个。
　　（10）数字序列符号20个。
　　（11）中国文字部首213个（夕，夕两部首同归于夕部首中，夕部首得于将来扩编时一并列入增订。）
　　（12）控制码符号33个。
　　2 中文字区
　　CNS第一字面之中文字区编码区间由4421至7D4B，所编字汇5401字，除包括教育部颁订之“常用汉字标准字体表”所列全部4808字外，并优收编国中、国小教科书中常用字587字及异体字6字。第二字面：本字集所编字汇7650字，除教育部所颁“次常用汉字标准字体表”外，并筛选编入罕用字表中使用频率较高之1320字。字码区间为2121至7244。第三字面：本字集即77年6月行政院主计处电子处理资料中心为搜集仍涵盖教育部罕用及异体字表中之较常用字，所编订之使用者加字区第14字面字集第一部分，字数6148字；原码序不变，字码区间仍为2121至6246。第四字面：本字集所编字汇7298字，除包括原第14字面第二部分171字外，并搜集户役政及其他使用单位，ISO10646第2版汉字集、信息业次常用字而成，字码区间为2121至6E5C。第五字面：本字集所编字汇共8603个字，系未包含于前4个字面之教育部罕用字。字码区间为2121至7C51。第六字面：本字集所编字汇共6388个字，为不包含于前5个字面且笔画在14画（含）以下之教育部异体字。字码区间为2121至647A。第七字面：本字集所编字汇6539个字，为不包含前6个字面之教育部异体字，字码区间为2121为6655。使用者得视自己的需求参考本标准之字集、字序编订内码表。

ArXoR

:shock: 好文!!!
:lol: 又学到东西啦!! :lol: