本文共 627 字，大约阅读时间需要 2 分钟。
前几天，在尝试通过nltk工具包对唐诗进行一些处理分析的时候，遇到了编码解码方面的错误。错误如下，就是 UnicodeDecodeError: 'gbk' codec can't decode bytes in position 738868-738869: illegal multibyte s。 很明显，这是编码解码上的错误，于是去度娘那里仔细了解了一下编码解码方面的知识，得到了一个算是一劳永逸的解决思路：由于Python处理的字符都是Unicode编码，不管输入的文本是什么编码，把输入的文本解码为Unicode编码，然后输出时再编码为所需编码。 所以我在解决我的这个中文编码问题中，首先将输入的文本另存为utf-8格式之后，然后使用python处理解码为unicode，处理完后的结果写入文本时再编码为utf-8就可以了。
import codecslines = codecs.open(filename1,'r',encoding='utf-8')for line in lines: print(line.encode('utf-8')) with open(filename2, 'w') as lines: for line in list_s: lines.write(line.encode('utf-8')+'\n')这样就完美解决了这个UnicodeDecode问题。
转载地址：http://lhyii.baihongyu.com/