python: BytesIO 中 read 用法

陈尚镇

在用 Flask 写一个项目，后台管理用的插件暂时是 flask-admin。想实现的效果：在后台管理页面中，把提交到后端的图片不保存在 static 文件夹下面，而是通过后端代码把这个文件对象上传到 AWS 的 S3中存储。
通过flask-admin 上传到后端的文件对象的类型是：

1. FileStorage    # werkzeug.datastructures.FileStorage
3. # flask 中的 request.files 获取到的类型也是 FileStorage

复制代码

所以先从提交到后端的 form 表单中获取到该文件对象，例如为： img_obj。 现在刚需要把类型为  FileStorage 的 img_obj 转化为 file-like object （AWS S3  boto3 中的 upload_fileobj 接口需要这样的参数）。转化的过程用到了 shutil 的copyfileobj 和 BytesIO， 如下：

1. from shutil import copyfileobj
3. temp_file = BytesIO()
5. copyfileobj(img_obj.stream, temp_file)    # img_obj.stream 应该是能获取到对象中的数据流； 然后把 imb_obj 中的数据流copy到 temp_file 中

复制代码

然后，问题来了。 利用下面的 S3 upload_fileobj接口把文件上传到 S3后，对应的文件一直都是 0 比特。
代码如下：

1. from shutil import copyfileobj
3. temp_file = BytesIO()
5. copyfileobj(img_obj.stream, temp_file)
7. client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)        # 利用这个接口把文件上传到服务器后一直都是0比特

复制代码

查询资料发现原因。
我们先来看下 shutil.copyfileobj 的源码：

1. '''
2. 学习中遇到问题没人解答？
3. 小编创建了一个Python学习交流群：711312441
4. '''
5. def copyfileobj(fsrc, fdst, length=16*1024):
6.     """copy data from file-like object fsrc to file-like object fdst"""
7.     while 1:
8.         buf = fsrc.read(length)
9.         if not buf:
10.             break
11.         fdst.write(buf)
13. """
14. 从上述代码的最后一行看，fdst.write(buf) ，此时写“文件”的游标已经到“文件”的最后
15. """

复制代码

我们再来看下面有关 BytesIO 的的一些用法：

1. In [1]: from io import BytesIO                                                                                                                                
3. In [2]: f = BytesIO()                                                                                                                                         
5. In [3]: f.write(b'abc')         # 把byte 写入到 f 中，此时 游标已经到f的最后位置                                                                                                                             
6. Out[3]: 3
8. In [4]: f.read()     # 由于此时游标是从f 的 最后的位置开始 read，那么后面的内容肯定是空                                                                                                                                       
9. Out[4]: b''
11. In [5]: f.tell()                                                                                                                                          
12. Out[5]: 3             # 说明游标是在f最后的位置
14. In [6]: f.seek(0)        # 利用 seek(0) 把游标的位置放到f的 0 位置处                                                                                                                                
15. Out[6]: 0
17. In [7]: f.read()      # 此时再 read 就能看到全部内容                                                                                                                                       
18. Out[7]: b'abc'
20. """
21. getvalue() 是获取全部内容；
22. read() 是从游标的当前位置往后读
23. """

复制代码

所以上面问题的原因也是：
copyfileobj 中的 fdst.write(buf) 写完后，此时游标在“文件”最后一个位置；而由于 S3 的 upload_fileobj 接口中的第一个参数是file-like object, 而且upload_fileobj会调用 这个 file-like object 的 read() 方法，read 出来的内容会上传到 S3 上。 所以，解决办法就是利用 seek(0) 把游标位置再次放到 0 处
正确代码如下：

1. from shutil import copyfileobj
3. temp_file = BytesIO()
5. copyfileobj(img_obj.stream, temp_file)
7. temp_file.seek(0)    # 让游标回到0处
9. client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)      

复制代码

或者直接把利用 FileStorage 的 stream 属性把文件上传到 S3，代码如下：

1. client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)     

复制代码

来源:https://www.cnblogs.com/python1111/p/17512738.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！