Python 自动识别并批量转换文本文件编码

看不惯带节奏的黑狗

如题，很简单，就是先用chardet 库识别文件编码，解码之后再输出成目标编码。算是个偶尔能用上的小工具，要用的时候万一没有就很难受的那种，比如，网上下载了别人的项目文件，一打开全是乱码……
代码

加了比较详细的注释~~ 看懂的要求应该不高，平时用过Python，知道几个常用库就行。

1. from pathlib import Path
2. import chardet
3. import re
5. def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
6.     ''' 转换单个文件到目标编码
7.     @param  f                   文件路径
8.     @param  target_encoding     目标编码，比如urf-8
9.     @param  dry_run             为True 时不实际修改源文件
11.     @return  返回三个值分别为（是否成功，估计的源文件编码，估计的把握）
12.     '''
13.     target_encoding = target_encoding.lower()    # python 的标准编码名称都是小写
14.     raw = f.read_bytes()
15.     result = chardet.detect(raw)
16.     encoding = result["encoding"].lower()     # chardet 估计出来的编码名称
17.     confidence = result["confidence"]    # 估计的把握
18.     flag = True
20.     # 下面的单次for 循环用来避免重复写return 语句，break 后统一跳到最后return<br>    # Python学习交流裙 872937351<br>
21.     for _d（￣_￣）b_ in (1,):
22.         if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
23.             # 目标编码和源编码相同时不用做处理。utf-8 编码和ASCII 兼容，原编码为ASCII 时转换到utf-8 不会有变化，所以也跳过
24.             print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
25.             break
27.         try:
28.             text = raw.decode(encoding)
29.         except:
30.             print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
31.             flag = False
32.             break
34.         if dry_run:
35.             print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
36.         else:
37.             # 必须先用目标编码转换成字节数组，然后按字节写入源文件
38.             # 如果按文本方式写入，就会遇到喜闻乐见的CR LF 换行问题，
39.             # 源文件中的CR LF 换行会被自动变成CR CR LF，也就是多了一堆空行。
40.             out = text.encode(target_encoding)
41.             f.write_bytes(out)
42.             print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")
44.     return (flag, encoding, confidence)
47. def text_file_encoding_batch_convert(
48.     folder: Path,
49.     target_encoding: str,
50.     *,
51.     dry_run=True,
52.     recursive=False,
53.     pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
54.     skip_when_error=True,
55. ):
56.     ''' 批量转换一个目录下文本文件的编码
57.     Python学习交流群 872937351
58.     @param  folder             目标目录
59.     @param  target_encoding    目标编码
60.     @param  dry_run            不实际修改源文件，避免手滑写错
61.     @param  recursive          包括所有子文件夹下的文件
62.     @param  pattern            基于文件名筛选文本文件的正则表达式，默认根据后缀筛选几种文本类型
63.     @param  skip_when_error    默认True，单个文件转换出错时提示并跳过，否则终止
64.     '''
65.     if recursive:
66.         flist = folder.rglob("*")
67.     else:
68.         flist = folder.glob("*")
70.     p = re.compile(pattern)   # 把正则编译了，之后应该能快一点
71.     for f in flist:
72.         if not (f.is_file() and p.match(f.name)):
73.             continue
75.         ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
76.         if not ok:
77.             if skip_when_error:
78.                 print("!> SKIP.")
79.             else:
80.                 print("!> ABORT.")
81.                 return

复制代码

 
用法

既然是批量转换文件，只调用第二个函数就好了，如下：

1. folder = Path(r"D:\Downloads\Some shit\")
2. text_file_encoding_batch_convert(folder, "utf-8", recursive=True)

复制代码

 
目标目录为D:\Downloads\Some shit\，放进一个Path 对象里，作为第一个参数传进去。第二个参数是目标编码，第三个参数必须写明参数名称recursive，用来指定要不要遍历子文件夹，默认是False，为了避免意外情况。直接这么运行的话，输出的信息应该类似这样：

1. -> [NO WET] main.c : gb2312 ⇒ utf-8

复制代码

 
[NO WET] 意思就是DRY [doge]，也就是没有实际修改源文件，只是让你大致看看输出信息对不对劲，实际运行的话再加一个参数：

1. text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)

复制代码

 
顺便一说，输出信息都是英文的，因为大伙应该都遇到过控制台输出中文乱码的问题，反正也没几个单词。剩下两个参数，skip_when_error 放着别管就行，没什么用；pattern 是匹配文件名的正则表达式，只有匹配的文件会被处理，可以自己设置；默认的正则只匹配了几种容易遇到乱码问题的文本文件，匹配的太多了也可能错杀，需要的话往括号里加就行。
对了，上面的代码和这篇文章一样，使用 CC - BY SA 4.0 协议。
  
来源:https://www.cnblogs.com/hahaa/p/17240446.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！