一文学习python中编码和解码

学习目录

1 什么是编码和解码

2 编解码基本原理

3 python的默认编码

4 什么是10进制/2进制/8进制/16进制？

5 python的字符串utf-8编解码

  5.1 使用str.encode()编码 ，str.decode()解码

  5.2 解码的乱码问题

  5.3 16进制字符串转为普通字符串

6 python字符串和unicode类型编码转换

什么是编码和解码

大家都知道计算机是二进制的世界，计算机系统只能识别数字0和1组成的一串串的数字。1位数字代表1个比特（bit），每8个比特代表1个字节（byte），那么1个字节如果都为数字1，如11111111，代表的最大数字是255。

如果是2 个字节最大可以表示为 65535，4 个字节最大表示为4294967295。

每一种不同的数字0和1的组合，就可以代表一个字符。基于上述原理出现了各种编码格式：

• ASCII 编码

最开始是美国人发明的编码 ASCII ，只能表示 256 个字符，仅支持英文字母，数字和少部分符号。

• GBK 编码

中国文字博大精深，汉字特别多，其他编码格式并不能满足要求，所以才有了适合中文编解码的 GB2312。编码（后来升级到了 GBK 编码），可以容纳将近7000个汉字。

• Unicode

世界上除了英文/中文等还有各个国家的文字语言，每个国家的编码不统一会带来很多编解码的困难，后来Unicode 字符集就出现了，它将所有的语言都容纳在一起，后续为了在存储和传输数据时节省空间，出现了目前常用的UTF8编码。

编解码基本原理

平常工作中，我们通过键盘输入英文字符或者中文字符或者一些逗号等符号，程序通过编码将字符转为计算机识别的2进制字节流，当计算机处理完成后再通过解码转为我们能识别的字符。

python的默认编码

安装完python3版本的程序后，我们通过sys库，检查下默认的编码。

import sys
print(sys.getdefaultencoding())
结果：
utf-8

因为utf-8本来就支持中文，所以我们可直接在python3版本上定义中文变量并直接使用，而不会出现乱码问题。

什么是10进制/2进制/8进制/16进制？

python中可通过bin(),oct(),hex()函数依次将十进制数转换为2进制,8进制,16进制。

#定义数字10
dig1 = 10

#转为2进制
bin_dig1 = bin(dig1)
print(f'十进制 数字10 转为2进制为：{bin_dig1}')

#转为8进制
oct_dig1 = oct(dig1)
print(f'十进制 数字10 转为8进制为：{oct_dig1}')

#转为16进制
hex_dig1 = hex(dig1)
print(f'十进制 数字10 转为16进制为：{hex_dig1}')

结果：
十进制 数字10 转为2进制为：0b1010
十进制 数字10 转为8进制为：0o12
十进制 数字10 转为16进制为：0xa

同理2进制，8进制和16进制可通过int()函数转为10进制。

print(f'2进制 数字10 转为10进制为：{int(bin_dig1,base=2)}')
print(f'8进制 数字10 转为10进制为：{int(oct_dig1,base=8)}')
print(f'16进制 数字10 转为10进制为：{int(hex_dig1,base=16)}')
结果：
2进制 数字10 转为10进制为：10
8进制 数字10 转为10进制为：10
16进制 数字10 转为10进制为：10

python的字符串utf-8编解码

• 使用str.encode()编码 ，str.decode()解码

userinfo = '章三'

以 encoding 指定的编码格式编码 string

userinfo_byte = userinfo.encode(encoding='utf-8')
print(userinfo_byte)
b'\xe7\xab\xa0\xe4\xb8\x89'

编码后字符串类型为bytes，输出的是16进制的字节码，而且1个中文字占了3个字节

print(type(userinfo_byte))
<class 'bytes'>

通过decode函数解码字节码为字符串。

print(userinfo_byte.decode())
章三

• 解码的乱码问题

如果编码和解码使用的编码不一样，解码后会出现乱码。 比如下面的示例将中文通过utf-8编码，然后通过gbk解码

使用bytes()函数定义编码格式为utf-8的字节码，解码使用gbk编码

zhongwen = bytes('章三',encoding='utf-8')
print(zhongwen.decode(encoding='gbk'))

打印结果时出现乱码：

绔犱笁

所以我们在平时使用时一般都是统一编码格式，目前使用的都是默认编码utf-8。

• 16进制字符串解码为普通字符串

以上中文“章三”编码输出的16进制为b'\xe7\xab\xa0\xe4\xb8\x89'可通过str.decode().hex()函数转为16进制字符串：“e7aba0e4b889”

然后使用codecs.decode() 或者bytes.fromhex()或者binascii.unhexlify()方法将16进制的字符串解码为普通字符串。

• codecs.decode()

import codecs
hex_str = "e7aba0e4b889"
str_result = codecs.decode(hex_str, "hex").decode("utf-8")
print(str_result)

• binascii.unhexlify()

import binascii
byte_str = binascii.unhexlify(hex_str)
str_result = byte_str.decode("utf-8")
print(str_result)

• bytes.fromhex()

byte_str = bytes.fromhex(hex_str)
str_result = byte_str.decode("utf-8")
print(str_result)

python字符串和unicode类型编码转换

char = "章三"
char.encode(encoding='unicode_escape')

通过unicode_escape编码为unicode类型，结果如下：

b'\\u7ae0\\u4e09'

unicode字节码以\\u的前缀表示，unicode编码中每个中文占2个字节（跟utf8编码不同，utf8编码占用3个字节），7ae0和4e09表示的是16进制，16进制转为10进制数分别是31456，19977

print(f'16进制 7ae0 转为10进制为：{int("7ae0",base=16)}')
print(f'16进制 4e09 转为10进制为：{int("4e09",base=16)}')
结果：
16进制 7ae0 转为10进制为：31456
16进制 4e09 转为10进制为：19977

• 通过chr函数可以解析出某数字对应的unicode字符

print(f'16进制 7ae0 转为10进制 通过chr函数获取对应数字的字符：{chr(int("7ae0",base=16))}')
print(f'16进制 4e09 转为10进制 通过chr函数获取对应数字的字符：{chr(int("4e09",base=16))}')

结果： 可以反推出我们字符串定义的“章三”两个汉字。

16进制 7ae0 转为10进制 通过chr函数获取对应数字的字符：章
16进制 4e09 转为10进制 通过chr函数获取对应数字的字符：三

• 通过ord()函数可以直接得出unicode字符对应的编码中的数字

print(f'汉字 章 对应的unicode编码中的数字是 {ord("章")}')
print(f'汉字 三 对应的unicode编码中的数字是 {ord("三")}')
结果：
汉字 章 对应的unicode编码中的数字是 31456
汉字 三 对应的unicode编码中的数字是 19977

共勉： 东汉·班固《汉书·枚乘传》：“泰山之管穿石，单极之绠断干。水非石之钻，索非木之锯，渐靡使之然也。”

-----指水滴不断地滴，可以滴穿石头；

-----比喻坚持不懈，集细微的力量也能成就难能的功劳。

----感谢读者的阅读和学习，谢谢大家。