python读取文件指定行的三种方法

郭门吹雪

1.行遍历实现

在python中如果要将一个文件完全加载到内存中，通过file.readlines()即可，但是在文件占用较高时，我们是无法完整的将文件加载到内存中的，这时候就需要用到python的file.readline()进行迭代式的逐行读取：

1. filename = 'hello.txt'
3. with open(filename, 'r') as file:
4.     line = file.readline()
5.     counts = 1
6.     while line:
7.         if counts >= 50000000:
8.             break
9.         line = file.readline()
11.         counts += 1

复制代码

这里我们的实现方式是先用一个with语句打开一个文件，然后用readline()函数配合while循环逐行加载，最终通过一个序号标记来结束循环遍历，输出文件第50000000行的内容。该代码的执行效果如下：

1. dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py
3. real    0m10.359s
4. user    0m10.062s
6. sys     0m0.296s

复制代码

可以看到这里的耗时为10s多一些。
2.linecache实现

虽然在python的readline函数中并没有实现读取指定行内容的方案，但是在另一个库linecache中是实现了的，由于使用的方式较为简单，这里直接放上代码示例供参考：

1. filename = 'hello.txt'
3. import linecache
5. text = linecache.getline(filename, 50000000)

复制代码

该代码的执行结果如下：

1. dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py
3. real    0m11.904s
4. user    0m5.672s
6. sys     0m6.231s

复制代码

虽然在实现方式上简化了许多，但是我们发现这个实现的用时超过了11s，还不如我们自己手动实现的循环遍历方案。因此如果是对于性能有一定要求的场景，是不建议采用这个方案的。
3.命令行sed获取

我们知道用Linux系统本身自带的sed指令也是可以获取到文件指定行或者是指定行范围的数据的，其执行指令为：sed -n 50000000p filename即表示读取文件的第50000000行的内容。同时结合python的话，我们可以在python代码中执行系统指令并获取输出结果：

1. filename = 'hello.txt'
3. import os
5. result = os.popen('sed -n {}p {}'.format(50000000, filename)).read()

复制代码

需要注意的是，如果直接运行os.system()是没有返回值的，只有os.popen()是有返回值的，并且需要在尾巴加上一个read()的选项。该代码的执行结果如下：

1. dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py
3. real    0m2.532s
4. user    0m0.032s
6. sys     0m0.020s

复制代码

可以看到直接使用sed指令的执行速度很快，但是用这种方法并不是一本万利的，比如以下这个例子：

1. filename = 'hello.txt'
3. import os
5. #学习中遇到问题没人解答？小编创建了一个Python学习交流群：153708845
6. result = os.popen('sed -n {}p {}'.format(500, filename)).read()

复制代码

我们把读取第50000000行内容改为读取第500行的内容，再运行一次程序：

1. dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py
3. real    0m2.540s
4. user    0m0.037s
6. sys     0m0.013s

复制代码

然而我们发现这个速度并没有因为要读取的行数减少了而变少，而是几乎保持不变的。
总结

本文通过4个测试案例分析了在python中读取文件指定行内容的方案，并得到了一些运行耗时的数据。从需求上来说，如果是对于小规模的数据，比如几百行规模的数据，建议使用readline循环遍历来操作，速度也相当不错，或者是linecache中的函数实现也是可以的，甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景，比如超过了千万行的级别，那么使用sed指令的方式对指定行内容进行读取的方式，应该是所有方式中最快速的。

来源:https://www.cnblogs.com/python1111/p/18164371
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！