python多进程编程常用到的方法

福到我家

python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU资源，在python中大部分情况需要使用多进程。
python提供了非常好用的多进程包Multiprocessing，只需要定义一个函数，python会完成其它所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。
multiprocessing支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、LocK等组件
一、Process

语法：Process([group[,target[,name[,args[,kwargs]]]]])
参数含义：target表示调用对象；args表示调用对象的位置参数元祖；kwargs表示调用对象的字典。name为别名，groups实际上不会调用。
方法：

1. is_alive()：
2. join(timeout)：
3. run()：
4. start()：
5. terminate()：

复制代码

属性：authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为-N，表示被信号N结束)、name、pid。其中daemon是父进程终止后自动终止，且自己不能产生新的进程，必须在start()之前设置。
1.创建函数，并将其作为单个进程

1. from multiprocessing import Process
2. def func(name):
3.     print("%s曾经是好人"%name)
5. if __name__ == "__main__":
6.     p = Process(target=func,args=('kebi',))
7.     p.start()   #start()通知系统开启这个进程

复制代码

2.创建函数并将其作为多个进程

1. from multiprocessing import Process
2. import random,time
4. def hobby_motion(name):
5.     print('%s喜欢运动'% name)
6.     time.sleep(random.randint(1,3))
8. def hobby_game(name):
9.     print('%s喜欢游戏'% name)
10.     time.sleep(random.randint(1,3))
12. if __name__ == "__main__":
13.     p1 = Process(target=hobby_motion,args=('小明',))
14.     p2 = Process(target=hobby_game,args=('张三',))
15.     p1.start()
16.     p2.start()

复制代码

执行结果：

1. 小明喜欢运动
2. 张三喜欢游戏

复制代码

3.将进程定义为类（开启进程的另一种方法，并不是很常用）

1. from multiprocessing import Process
2. class MyProcess(Process):
3.     def __init__(self,name):
4.         super().__init__()
5.         self.name = name
7.     def run(self):  #start()时，run自动调用，而且此处只能定义为run。
8.         print("%s曾经是好人"%self.name)
10. if __name__ == "__main__":
11.     p = MyProcess('kebi')
12.     p.start()  #将Process当作父类，并且自定义一个函数。

复制代码

4.daemon程序对比效果

不加daemon属性

1. import time
2. def func(name):
3.     print("work start:%s"% time.ctime())
4.     time.sleep(2)
5.     print("work end:%s"% time.ctime())
7. if __name__ == "__main__":
8.     p = Process(target=func,args=('kebi',))
9.     p.start()
10.     print("this is over")
12. #执行结果
13. this is over
14. work start:Thu Nov 30 16:12:00 2017
15. work end:Thu Nov 30 16:12:02 2017

复制代码

加上daemon属性

1. from multiprocessing import Process
2. import time
3. def func(name):
4.     print("work start:%s"% time.ctime())
5.     time.sleep(2)
6.     print("work end:%s"% time.ctime())
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',))
10.     p.daemon = True   #父进程终止后自动终止，不能产生新进程，必须在start()之前设置
11.     p.start()
12.     print("this is over")
14. #执行结果
15. this is over

复制代码

设置了daemon属性又想执行完的方法：

1. import time
2. def func(name):
3.     print("work start:%s"% time.ctime())
4.     time.sleep(2)
5.     print("work end:%s"% time.ctime())
7. if __name__ == "__main__":
8.     p = Process(target=func,args=('kebi',))
9.     p.daemon = True
10.     p.start()
11.     p.join()  #执行完前面的代码再执行后面的
12.     print("this is over")
14. #执行结果
15. work start:Thu Nov 30 16:18:39 2017
16. work end:Thu Nov 30 16:18:41 2017
17. this is over

复制代码

5.join()：上面的代码执行完毕之后，才会执行后i面的代码。

先看一个例子：

1. from multiprocessing import Process
2. import time,os,random
3. def func(name,hour):
4.     print("A lifelong friend:%s,%s"% (name,os.getpid()))
5.     time.sleep(hour)
6.     print("Good bother:%s"%name)
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',2))
10.     p1 = Process(target=func,args=('maoxian',1))
11.     p2 = Process(target=func,args=('xiaoniao',3))
12.     p.start()
13.     p1.start()
14.     p2.start()
15.     print("this is over")
17. 执行结果：
18. this is over   #最后执行，最先打印，说明start()只是开启进程，并不是说一定要执行完
19. A lifelong friend:kebi,12048
20. A lifelong friend:maoxian,8252
21. A lifelong friend:xiaoniao,6068
22. Good bother:maoxian   #最先打印，第二位执行
23. Good bother:kebi     
24. Good bother:xiaoniao

复制代码

添加join（）

1. from multiprocessing import Process
2. import time,os,random
3. def func(name,hour):
4.     print("A lifelong friend:%s,%s"% (name,os.getpid()))
5.     time.sleep(hour)
6.     print("Good bother:%s"%name)
7. start = time.time()
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',2))
10.     p1 = Process(target=func,args=('maoxian',1))
11.     p2 = Process(target=func,args=('xiaoniao',3))
12.     p.start()
13.     p.join()   #上面的代码执行完毕之后，再执行后面的
14.     p1.start()
15.     p1.join()
16.     p2.start()
17.     p2.join()
18.     print("this is over")
19.     print(time.time() - start)
21. #执行结果
22. A lifelong friend:kebi,14804
23. Good bother:kebi
24. A lifelong friend:maoxian,11120
25. Good bother:maoxian
26. A lifelong friend:xiaoniao,10252  #每个进程执行完了，才会执行下一个
27. Good bother:xiaoniao
28. this is over
29. 6.497815370559692   #2+1+3+主程序执行时间

复制代码

改变一下位置

1. from multiprocessing import Process
2. import time,os,random
3. def func(name,hour):
4.     print("A lifelong friend:%s,%s"% (name,os.getpid()))
5.     time.sleep(hour)
6.     print("Good bother:%s"%name)
7. start = time.time()
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',2))
10.     p1 = Process(target=func,args=('maoxian',1))
11.     p2 = Process(target=func,args=('xiaoniao',3))
12.     p.start()
13.     p1.start()
14.     p2.start()
15.     p.join()   #需要2秒
16.     p1.join()  #到这时已经执行完
17.     p2.join()   #已经执行了2秒，还要1秒
18.     print("this is over")
19.     print(time.time() - start)
21. #执行结果
22. #Python小白学习交流群：711312441
23. A lifelong friend:kebi,13520
24. A lifelong friend:maoxian,11612
25. A lifelong friend:xiaoniao,17064  #几乎是同时开启执行
26. Good bother:maoxian
27. Good bother:kebi
28. Good bother:xiaoniao
29. this is over
30. 3.273620367050171  #以最长时间的为主

复制代码

6.其它属性和方法

1. from multiprocessing import Process
2. import time
3. def func(name):
4.     print("work start:%s"% time.ctime())
5.     time.sleep(2)
6.     print("work end:%s"% time.ctime())
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',))
10.     p.start()
11.     p.terminate()  #将进程杀死，而且必须放在start()后面，与daemon的功能类似
13. #执行结果
14. this is over

复制代码

1. from multiprocessing import Process
2. import time
3. def func(name):
4.     print("work start:%s"% time.ctime())
5.     time.sleep(2)
6.     print("work end:%s"% time.ctime())
8. if __name__ == "__main__":
9.     p = Process(target=func,args=('kebi',))
10.     # p.daemon = True
11.     print(p.is_alive())
12.     p.start()
13.     print(p.name)   #获取进程的名字
14.     print(p.pid)    #获取进程的pid
15.     print(p.is_alive())  #判断进程是否存在
16.     print("this is over")

复制代码

来源:https://www.cnblogs.com/djdjdj123/p/17607012.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！