字符分类及历史
ASCII
0-255 从数字到小写大写英文字母,加上一些特殊符号,常用的低字节(0-127)也是基本表,非常用的高字节(128-255)也是扩展表,8位为1字节,ASCII中每一个字符占一个字节
GB2312
中国1980年,为中文在计算机应用而制定的编码系统,一个字符占两个字节,中英文环境下兼容ASCII码,以连续两个高字节在一起就为中文字符
GBK
在GB2312的基础上扩展而来,一个字符占两个字节
unicode
unicode称之为万国码,包括各国语言字母及文字,与所有国家的编码有映射关系,2-4字节存一个字符是,在这当中一个中文字符占3个字符
其它编码转换为unicode为解码(decode),unicode转换为utf-8为编码(encode)
utf-8 union transfor format 可变长编码
为优化unicode存储空间过大的问题而出现了UTF-8
UTF-8用于文件存储和网络传输,但在内存中依然是unicode
mac、linux系统默认为utf-8,windows中国版系统默认为GBK
字符在python中的应用
python2中字符都以ASCII码解释存储
如GBK编码存储字符
python2代码涉及字符时,需要在第一行申明(如#coding:utf-8),其实就是告诉解释器这后面的代码是UTF-8编码写的,以UTF-8解释并存储,但因py2只支持ASCII码所以打印出来通常是乱码,需要转为unicode才能正常显示(str.decode("utf-8")以UTF-8转为unicode)
python3中字符在内存中以unicode存储,在文件中以utf-8存储
python3中代码以GBK编码,运行时解释器会以GBK编码转为unicode存在内存中
标签:编码,utf,字符,python,GBK,unicode,ASCII From: https://www.cnblogs.com/merlin-lan/p/17772937.html