发帖
翼度科技»论坛 › 编程开发 › python › 查看内容

Python中关于对象序列化实现和原理

我叫安琪拉

5

主题

5

帖子

15

积分

新手上路

Rank: 1

积分
15
显示全部楼层
pickle模块可以实现任意的Python对象转换为一系列字节(即序列化对象)的算法。这些字节流可以被传输或存储，接着也可以重构为—个和原先对象具有相同特征的新对象。
注意：

  • pickle的文档清晰的表明它不提供安全保证。实际上，反序列化后可以执行任意代码，所以慎用
  • pickle来作为内部进程通信或者数据存储，也不要相信那些你不能验证安全性的数据。
  • hmac模块，它提供了—个以安全方式验证序列化数据源的示例。
字符串的编码和解码

第一个示例是使用 dumps() 将一个数据结构编码为一个字符串，然后将其输出到控制台。它使用内置类型组成的数据结构，其实任何类的实例都可以被序列化，如后面的例子所示。
  1. import pickle
  2. import pprint
  4. data = [{'a': 'A', 'b': 2, 'c': 3.0}]
  5. print('DATA:', end=' ')
  6. pprint.pprint(data)
  8. data_string = pickle.dumps(data)
  9. print('PICKLE: {!r}'.format(data_string))
复制代码
默认情况下，Python 3 的序列化以兼容的二进制形式进行。
  1. $ python3 pickle_string.py
  3. DATA: [{'a': 'A', 'b': 2, 'c': 3.0}]
  4. PICKLE: b'\x80\x03]q\x00}q\x01(X\x01\x00\x00\x00cq\x02G@\x08\x00
  5. \x00\x00\x00\x00\x00X\x01\x00\x00\x00bq\x03K\x02X\x01\x00\x00\x0
  6. 0aq\x04X\x01\x00\x00\x00Aq\x05ua.'
复制代码
一旦数据被序列化，你就可以把它写入到文件、socket、管道等等中。之后你可以读取这个文件，反序列化这些数据来构造具有相同值的新对象。
  1. import pickle
  2. import pprint
  4. data1 = [{'a': 'A', 'b': 2, 'c': 3.0}]
  5. print('BEFORE: ', end=' ')
  6. pprint.pprint(data1)
  8. data1_string = pickle.dumps(data1)
  10. data2 = pickle.loads(data1_string)
  11. print('AFTER : ', end=' ')
  12. pprint.pprint(data2)
  14. print('SAME? :', (data1 is data2))
  15. print('EQUAL?:', (data1 == data2))
复制代码
新对象和之前的对象相等，但不是之前的对象。
  1. $ python3 pickle_unpickle.py
  3. BEFORE:  [{'a': 'A', 'b': 2, 'c': 3.0}]
  4. AFTER :  [{'a': 'A', 'b': 2, 'c': 3.0}]
  5. SAME? : False
  6. EQUAL?: True
复制代码
流的序列化

pickle 除了提供 dumps() 和 loads() ，还提供了非常方便的函数用于操作文件流。支持同时写多个对象到同一个流中，然后在不知道有多少个对象或不知道它们有多大时，能够从这个流中读取到这些对象。
pickle_stream.py
  1. import io
  2. import pickle
  3. import pprint
  5. class SimpleObject:
  7.     def __init__(self, name):
  8.         self.name = name
  9.         self.name_backwards = name[::-1]
  10.         return
  12. data = []
  13. data.append(SimpleObject('pickle'))
  14. data.append(SimpleObject('preserve'))
  15. data.append(SimpleObject('last'))
  17. # 模拟一个文件
  18. out_s = io.BytesIO()
  20. # 写入流中
  21. for o in data:
  22.     print('WRITING : {} ({})'.format(o.name, o.name_backwards))
  23.     pickle.dump(o, out_s)
  24.     out_s.flush()
  26. # 设置一个可读取的流
  27. in_s = io.BytesIO(out_s.getvalue())
  29. # 读取数据
  30. while True:
  31.     try:
  32.         o = pickle.load(in_s)
  33.     except EOFError:
  34.         break
  35.     else:
  36.         print('READ    : {} ({})'.format(
  37.             o.name, o.name_backwards))
复制代码
这个例子使用两个 BytesIO 缓冲区来模拟流。一个接收序列化对象，另一个通过 load() 方法读取第一个的值。一个简单的数据库格式也可以使用序列化来存储对象。 shelve 模块就是这样使用的一个范例。
  1. $ python3 pickle_stream.py
  3. WRITING : pickle (elkcip)
  4. WRITING : preserve (evreserp)
  5. WRITING : last (tsal)
  6. READ    : pickle (elkcip)
  7. READ    : preserve (evreserp)
  8. READ    : last (tsal)
复制代码
除了用于存储数据，序列化在用于内部进程通信时也是非常灵活的。比如，使用 os.fork() 和 os.pipe() ，可以建立一些工作进程，它们从一个管道中读取任务说明并把结果输出到另一个管道。操作这些工作池、发送任务和接受返回的核心代码可以复用，因为任务和返回对象不是一个特殊的类。如果使用管道或者套接字，就不要忘记在序列化每个对象后刷新它们，并通过它们之间的连接将数据推送到另外一端。查看 multiprocessing 模块构建一个可复用的任务池管理器。
重建对象的问题

在处理自定义类时，你应该保证这些被序列化的类会在进程命名空间出现 只有数据实例才能被序列化，而不能是定义的类。在反序列化时，类的名字被用于寻找构造器以便创建新对象。接下来这个例子，是将一个类实例写入到文件中。
  1. pickle_dump_to_file_1.py
  2. import pickle
  3. import sys
  5. class SimpleObject:
  7.     def __init__(self, name):
  8.         self.name = name
  9.         l = list(name)
  10.         l.reverse()
  11.         self.name_backwards = ''.join(l)
  13. if __name__ == '__main__':
  14.     data = []
  15.     data.append(SimpleObject('pickle'))
  16.     data.append(SimpleObject('preserve'))
  17.     data.append(SimpleObject('last'))
  19.     filename = sys.argv[1]
  21.     with open(filename, 'wb') as out_s:
  22.         for o in data:
  23.             print('WRITING: {} ({})'.format(
  24.                 o.name, o.name_backwards))
  25.             pickle.dump(o, out_s)
复制代码
当我运行这个脚本时，它会创建名为我在命令行中输入的参数的文件。
  1. $ python3 pickle_dump_to_file_1.py test.dat
  3. WRITING: pickle (elkcip)
  4. WRITING: preserve (evreserp)
  5. WRITING: last (tsal)
复制代码
之后尝试将刚才的序列化的结果对象装载进来是失败的。
  1. pickle_load_from_file_1.py
  3. import pickle
  4. import pprint
  5. import sys
  7. filename = sys.argv[1]
  9. with open(filename, 'rb') as in_s:
  10.     while True:
  11.         try:
  12.             o = pickle.load(in_s)
  13.         except EOFError:
  14.             break
  15.         else:
  16.             print('READ: {} ({})'.format(
  17.                 o.name, o.name_backwards))
复制代码
这个版本失败了，因为这里没有可用的 SimpleObject 类。
  1. $ python3 pickle_load_from_file_1.py test.dat
  3. Traceback (most recent call last):
  4.   File "pickle_load_from_file_1.py", line 15, in <module>
  5.     o = pickle.load(in_s)
  6. AttributeError: Can't get attribute 'SimpleObject' on <module '_
  7. _main__' from 'pickle_load_from_file_1.py'>
复制代码
下面是正确的版本，它从一开始的脚本中导入了 SimpleObject 类。添加导入语句可以让该脚本找到类并构建对象。
  1. from pickle_dump_to_file_1 import SimpleObject
复制代码
现在运行修改后的脚本可以得到预期的结果了。
  1. $ python3 pickle_load_from_file_2.py test.dat
  3. READ: pickle (elkcip)
  4. READ: preserve (evreserp)
  5. READ: last (tsal)
复制代码
无法序列化的对象

不是所有对象都可以被序列化的。如套接字、文件句柄、数据库连接或其他具有运行时状态的对象，可能依赖于操作系统或其他进程无法有效的存储下来。那些不能被序列化的类可以定义_getstate_和__setstate__()方法来返回实例在被序列化时的状态。
_getstate_()方法须返回一个包含该对象内部状态的对象。一种便捷的方式是使用字典，字典的值可以是任意可序列化对象。然后状态会被存储，当对象序列化时传递给__setstate__方法。
pickle_state.py
  1. import pickle
  3. class State:
  5.     def __init__(self, name):
  6.         self.name = name
  8.     def __repr__(self):
  9.         return 'State({!r})'.format(self.__dict__)
  11. class MyClass:
  13.     def __init__(self, name):
  14.         print('MyClass.__init__({})'.format(name))
  15.         self._set_name(name)
  17.     def _set_name(self, name):
  18.         self.name = name
  19.         self.computed = name[::-1]
  21.     def __repr__(self):
  22.         return 'MyClass({!r}) (computed={!r})'.format(
  23.             self.name, self.computed)
  25.     def __getstate__(self):
  26.         state = State(self.name)
  27.         print('__getstate__ -> {!r}'.format(state))
  28.         return state
  30.     def __setstate__(self, state):
  31.         print('__setstate__({!r})'.format(state))
  32.         self._set_name(state.name)
  34. inst = MyClass('name here')
  35. print('Before:', inst)
  37. dumped = pickle.dumps(inst)
  39. reloaded = pickle.loads(dumped)
  40. print('After:', reloaded)
复制代码
这个例子使用一个单独的 State对象存储MyClass的内部状态。当 MyClass的实例反序列化时，会给_setstate_()传入一个 state的实例去初始化新的对象。
如果__getstate__()返回值是false，则__setstate__()在对象反序列化时不会被调用。
循环引用

序列化协议会自动处理对象间的循环引用，所以即使复杂的数据结构也不需要去特殊处理。考虑下图，它包含了多个循环，但正确的结构仍然能被反序列化输出。
序列化一个循环引用的数据结构
pickle_cycle.py
  1. import pickle
  3. class Node:
  4.     """一个简单的有向图
  5.     """
  6.     def __init__(self, name):
  7.         self.name = name
  8.         self.connections = []
  10.     def add_edge(self, node):
  11.          """在这个节点和其他节点间建立一条边
  12.                  """
  13.         self.connections.append(node)
  15.     def __iter__(self):
  16.         return iter(self.connections)
  18. def preorder_traversal(root, seen=None, parent=None):
  19.     """给一个图生成边的生成器函数
  20.     """
  21.     if seen is None:
  22.         seen = set()
  23.     yield (parent, root)
  24.     if root in seen:
  25.         return
  26.     seen.add(root)
  27.     for node in root:
  28.         recurse = preorder_traversal(node, seen, root)
  29.         for parent, subnode in recurse:
  30.             yield (parent, subnode)
  32. def show_edges(root):
  33.      """打印输出图的所有边
  34.          """
  35.     for parent, child in preorder_traversal(root):
  36.         if not parent:
  37.             continue
  38.         print('{:>5} -> {:>2} ({})'.format(
  39.             parent.name, child.name, id(child)))
  41. # 创建有向图
  42. root = Node('root')
  43. a = Node('a')
  44. b = Node('b')
  45. c = Node('c')
  47. # 给节点间添加边
  48. root.add_edge(a)
  49. root.add_edge(b)
  50. a.add_edge(b)
  51. b.add_edge(a)
  52. b.add_edge(c)
  53. a.add_edge(a)
  55. print('ORIGINAL GRAPH:')
  56. show_edges(root)
  57. #学习中遇到问题没人解答？小编创建了一个Python学习交流群：711312441
  58. # 序列化和反序列化有向图
  59. # 产生一组新的节点
  60. dumped = pickle.dumps(root)
  61. reloaded = pickle.loads(dumped)
  63. print('\nRELOADED GRAPH:')
  64. show_edges(reloaded)
复制代码
经过序列化和反序列化，这些新的有向图节点对象并不是一开始创建的那些对象，但对象之间的关系保持不变，这可以通过检查对象 id() 返回的值验证。
  1. $ python3 pickle_cycle.py
  3. ORIGINAL GRAPH:
  4. root ->  a (4315798272)
  5.     a ->  b (4315798384)
  6.     b ->  a (4315798272)
  7.     b ->  c (4315799112)
  8.     a ->  a (4315798272)
  9. root ->  b (4315798384)
  11. RELOADED GRAPH:
  12. root ->  a (4315904096)
  13.     a ->  b (4315904152)
  14.     b ->  a (4315904096)
  15.     b ->  c (4315904208)
  16.     a ->  a (4315904096)
  17. root ->  b (4315904152
复制代码
来源:https://www.cnblogs.com/python1111/p/17953067
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！

上一篇: python中自定义异常/raise关键字抛出异常

下一篇: Python开启线程和线程池的方法

发表于 2024-1-8 22:02:17 来自手机

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4