day11-模块

秋寒雨

1. 自定义模块

1.1 模块和包

1. import hashlib
4. def encrypt(data):
5.     """ 数据加密 """
6.     hash_object = hashlib.md5()
7.     hash_object.update(data.encode('utf-8'))
8.     return hash_object.hexdigest()
11. user = input("请输入用户名：")
12. pwd = input("请输入密码：")
13. md5_password = encrypt(pwd)
15. message = "用户名：{}，密码：{}".format(user, md5_password)
16. print(message)

复制代码

在开发简单的程序时，使用一个py文件就可以搞定，如果程序比较庞大，需要些10w行代码，此时为了，代码结构清晰，将功能按照某种规则拆分到不同的py文件中，使用时再去导入即可。另外，当其他项目也需要此项目的某些模块时，也可以直接把模块拿过去使用，增加重用性。
如果按照某个规则进行拆分，发现拆分到 commons.py 中函数太多，也可以通过文件夹来进行再次拆分，例如：

1. ├── commons
2. │   ├── convert.py
3. │   ├── page.py
4. │   └── utils.py
5. └── run.py

复制代码

在Python中一般对文件和文件的称呼（很多开发者的平时开发中也有人都称为模块）

• 一个py文件，模块（module）。
  
• 含多个py文件的文件夹，包（package）。
  

注意：在包（文件夹）中有一个默认内容为空的__init__.py的文件，一般用于描述当前包的信息（在导入他下面的模块时，也会自动加载）。

• py2必须有，如果没有导入包就会失败。
  
• py3可有可无。
  

1.2 导入

当定义好一个模块或包之后，如果想要使用其中定义的功能，必须要先导入，然后再能使用。
导入，其实就是将模块或包加载的内存中，以后再去内存中去拿就行。
关于导如时的路径：

在Python内部默认设置了一些路径，导入模块或包时，都会按照指定顺序逐一去特定的路径查找。

1. import sys
2. print(sys.path)

复制代码

想要导入任意的模块和包，都必须写在如下路径下，才能被找到。
也可以自动手动在sys.path中添加指定路径，然后再导入可以，例如：

1. import sys
2. sys.path.append("路径A")
4. import xxxxx  # 导入路径A下的一个xxxxx.py文件

复制代码

• 你以后写模块名称时，千万不能和内置和第三方的同名（新手容易犯错误）。
  
• 项目执行文件一般都在项目根目录，如果执行文件嵌套的内存目录，就需要自己手动在sys.path中添加路径。
  
  
  
• pycharm中默认会将项目目录加入到sys.path中
  

关于导入的方式：
导入本质上是将某个文件中的内容先加载到内存中，然后再去内存中拿过来使用。而在Python开发中常用的导入的方式有2类方式，每类方式都也多种情况。

• 第一类：import xxxx（开发中，一般多用于导入sys.path目录下的一个py文件）
  
  
  
  • 模块级别
    1. ├── commons
    2. │   ├── __init__.py
    3. │   ├── convert.py
    4. │   ├── page.py
    5. │   ├── tencent
    6. │   │   ├── __init__.py
    7. │   │   ├── sms.py
    8. │   │   └── wechat.py
    9. │   └── utils.py
    10. ├── many.py
    11. └── run.py

    复制代码
    
    
  • 包级别
    1. ├── commons
    2. │   ├── __init__.py
    3. │   ├── convert.py
    4. │   ├── page.py
    5. │   └── utils.py
    6. ├── third
    7. │   ├── __init__.py
    8. │   ├── ali
    9. │   │   └── oss.py
    10. │   └── tencent
    11. │       ├── __init__.py
    12. │       ├── __pycache__
    13. │       ├── sms.py
    14. │       └── wechat.py
    15. └── run.py

    复制代码
    
    
  
  
• 第二类：from xxx import xxx 【常用】，一般适用于多层嵌套和导入模块中某个成员的情况。
  
  
  
  • 成员级别
    1. ├── commons
    2. │   ├── __init__.py
    3. │   ├── convert.py
    4. │   ├── page.py
    5. │   └── utils.py
    6. ├── many.py
    7. └── run.py

    复制代码
    
    提示：基于from模式也可以支持 from many import *，即：导入一个模块中所有的成员（可能会重名，所以用的少）。
    
  • 模块级别
    1. ├── commons
    2. │   ├── __init__.py
    3. │   ├── convert.py
    4. │   ├── page.py
    5. │   └── utils.py
    6. ├── many.py
    7. └── run.py

    复制代码
    
    
  • 包级别
    1. ├── commons
    2. │   ├── __init__.py
    3. │   ├── convert.py
    4. │   ├── page.py
    5. │   ├── tencent
    6. │   │   ├── __init__.py
    7. │   │   ├── sms.py
    8. │   │   └── wechat.py
    9. │   └── utils.py
    10. ├── many.py
    11. └── run.py

    复制代码
    
    
  
  

1.3 相对导入

在导入模块时，对于 from xx import xx这种模式，还支持相对到导入。例如：

切记，相对导入只能用在包中的py文件中（即：嵌套在文件中的py文件才可以使用，项目根目录下无法使用）。

1.4 导入别名

如果项目中导入 成员/模块/包 有重名，那么后导入的会覆盖之前导入，为了避免这种情况的发生，Python支持重命名，即：

1. from xxx.xxx import xx as xo
2. import x1.x2 as pg

复制代码

除此之外，有了as的存在，让 import xx.xxx.xxxx.xxx 在调用执行时，会更加简单（不常用，了解即可）。

• 原来
  1. import commons.page
  3. v1 = commons.page.pagination()

  复制代码
• 现在
  1. import commons.page as pg
  3. v1 = pg.pagination()

  复制代码

1.5 主文件

• 执行一个py文件时
  1. __name__ = "__main__"

  复制代码
• 导入一个py文件时
  1. __name__ = "模块名"

  复制代码

主文件，其实就是在程序执行的入口文件，例如：

1. ├── commons
2. │   ├── __init__.py
3. │   ├── convert.py
4. │   ├── page.py
5. │   ├── tencent
6. │   │   ├── __init__.py
7. │   │   ├── sms.py
8. │   │   └── wechat.py
9. │   └── utils.py
10. ├── many.py
11. └── run.py

复制代码

我们通常是执行 run.py 去运行程序，其他的py文件都是一些功能代码。当我们去执行一个文件时，文件内部的 __name__变量的值为 __main__，所以，主文件经常会看到：

1. import many
2. from commons import page
3. from commons import utils
6. def start():
7.     v1 = many.show()
8.     v2 = page.pagination()
9.     v3 = utils.encrypt()
12. if __name__ == '__main__':
13.     start()

复制代码

只有是以主文件的形式运行此脚本时start函数才会执行，被导入时则不会被执行。
小结

• 模块和包的区别
  
• 导入模块的两种方式：
  1. import xx
  2. from xxx import xxx

  复制代码
• 相对导入，需要有包名称。
  
• 模块重名可以通过as取别名。
  
• 执行py文件时，内部__name__=="__main__"，导入模块时，被导入的模块 __name__="模块名"
  
• 在项目开发中，一般在主文件中会写上 main （主文件标记，不是绝对的，因为其他文件在开发调试时候有时候也可能有main）。
  

2. 第三方模块

Python内部提供的模块有限，所以在平时在开发的过程中，经常会使用第三方模块。
而第三方模块必须要先安装才能可以使用，下面介绍常见的3中安装第三方模块的方式。
其实，使用第三方模块的行为就是去用别人写好并开源出来的py代码，这样自己拿来就用，不必重复造轮子了。。。。
2.1 pip（最常用）

这是Python中最最最常用的安装第三方模块的方式。
pip其实是一个第三方模块包管理工具，默认安装Python解释器时自动会安装，默认目录：

1. MAC系统，即：Python安装路径的bin目录下
2.         /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3
3.         /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3.9
4.        
5. Windows系统，即：Python安装路径的scripts目录下
6.         C:\Python39\Scripts\pip3.exe
7.         C:\Python39\Scripts\pip3.9.exe

复制代码

提示：为了方便在终端运行pip管理工具，我们也会把它所在的路径添加到系统环境变量中。

1. pip3 install 模块名称

复制代码

如果你的电脑上某个写情况没有找到pip，也可以自己手动安装：

• 下载 get-pip.py 文件，到任意目录
  1. 地址：https://bootstrap.pypa.io/get-pip.py

  复制代码
• 打开终端进入目录，用Python解释器去运行已下载的 get-pip.py文件即刻安装成功。
  
  
  

使用pip去安装第三方模块也非常简单，只需要在自己终端执行：pip install 模块名称 即可。

默认安装的是最新的版本，如果想要指定版本：

1. pip3 install 模块名称==版本
3. 例如：
4. pip3 install django==2.2

复制代码

2.1.1 pip更新

上图的黄色字体提示：目前我电脑上的pip是20.2.3版本，最新的是 20.3.3 版本，如果想要升级为最新的版本，可以在终端执行他提示的命令：

1. /Library/Frameworks/Python.framework/Versions/3.9/bin/python3.9 -m pip install --upgrade pip

复制代码

注意：根据自己电脑的提示命令去执行，不要用我这里的提示命令哈。
2.1.2 豆瓣源

pip默认是去 https://pypi.org 去下载第三方模块（本质上就是别人写好的py代码），国外的网站速度会比较慢，为了加速可以使用国内的豆瓣源。

• 一次性使用
  1. pip3.9 install 模块名称  -i  https://pypi.douban.com/simple/

  复制代码
• 永久使用
  
  
  
  • 配置
    1. # 在终端执行如下命令
    2. pip3.9 config set global.index-url https://pypi.douban.com/simple/
    4. # 执行完成后，提示在我的本地文件中写入了豆瓣源，以后再通过pip去安装第三方模块时，就会默认使用豆瓣源了。
    5. # 自己以后也可以打开文件直接修改源地址。
    6. Writing to /Users/wupeiqi/.config/pip/pip.conf

    复制代码
  • 使用
    1. pip3.9 install 模块名称

    复制代码
  
  

写在最后，也还有其他的源可供选择（豆瓣应用广泛）。

1. 阿里云：http://mirrors.aliyun.com/pypi/simple/
2. 中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/
3. 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
4. 中国科学技术大学：http://pypi.mirrors.ustc.edu.cn/simple/

复制代码

2.2 源码

如果要安装的模块在pypi.org中不存在 或 因特殊原因无法通过pip install 安装时，可以直接下载源码，然后基于源码安装，例如：

• 下载requests源码（压缩包zip、tar、tar.gz）并解压。
  1. 下载地址：https://pypi.org/project/requests/#files

  复制代码
• 进入目录
  
• 执行编译和安装命令
  1. python3 setup.py build
  2. python3 setup.py install

  复制代码

2.3 wheel

wheel是Python的第三方模块包的文件格式的一种，我们也可以基于wheel去安装一些第三方模块。

• 安装wheel格式支持，这样pip再安装第三方模块时，就可以处理wheel格式的文件了。
  1. pip3.9 install wheel

  复制代码
• 下载第三方的包（wheel格式），例如：https://pypi.org/project/requests/#files
  

• 进入下载目录，在终端基于pip直接安装
  
  
  

无论通过什么形式去安装第三方模块，默认模块的安装路径在：

1. Max系统：
2.         /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
3. Windows系统：
4.         C:\Python39\Lib\site-packages\

复制代码

提醒：这个目录在sys.path中，所以我们直接在代码中直接导入下载的第三方包是没问题的。
3.内置模块（一）

Python内置的模块有很多，我们也已经接触了不少相关模块，接下来咱们就来做一些汇总和介绍。
内置模块有很多 & 模块中的功能也非常多，我们是没有办法注意全局给大家讲解，在此我会整理出项目开发最常用的来进行讲解。
3.1 os

1. import os
3. # 1. 获取当前脚本绝对路径
4. """
5. abs_path = os.path.abspath(__file__)
6. print(abs_path)
7. """
9. # 2. 获取当前文件的上级目录
10. """
11. base_path = os.path.dirname( os.path.dirname(路径) ）
12. print(base_path)
13. """
15. # 3. 路径拼接
16. """
17. p1 = os.path.join(base_path, 'xx')
18. print(p1)
20. p2 = os.path.join(base_path, 'xx', 'oo', 'a1.png')
21. print(p2)
22. """
24. # 4. 判断路径是否存在
25. """
26. exists = os.path.exists(p1)
27. print(exists)
28. """
30. # 5. 创建文件夹
31. """
32. os.makedirs(路径)
33. """
34. """
35. path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
36. if not os.path.exists(path):
37.     os.makedirs(path)
38. """
40. # 6. 是否是文件夹
41. """
42. file_path = os.path.join(base_path, 'xx', 'oo', 'uuuu.png')
43. is_dir = os.path.isdir(file_path)
44. print(is_dir) # False
46. folder_path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
47. is_dir = os.path.isdir(folder_path)
48. print(is_dir) # True
50. """
52. # 7. 删除文件或文件夹
53. """
54. os.remove("文件路径")
55. """
56. """
57. path = os.path.join(base_path, 'xx')
58. shutil.rmtree(path)
59. """

复制代码

• listdir，查看目录下所有的文件
  
• walk，查看目录下所有的文件（含子孙文件）
  

1. import os
3. """
4. data = os.listdir("xxxxxxxx")
5. print(data)
6. # ['convert.py', '__init__.py', 'page.py', '__pycache__', 'utils.py', 'tencent']
7. """
9. """
10. 要遍历一个文件夹下的所有文件，例如：遍历文件夹下的所有mp4文件
11. """
13. data = os.walk("xxxxxxx")
14. for path, folder_list, file_list in data:
15.     for file_name in file_list:
16.         file_abs_path = os.path.join(path, file_name)
17.         ext = file_abs_path.rsplit(".",1)[-1]
18.         if ext == "mp4":
19.             print(file_abs_path)

复制代码

3.2 shutil

1. import shutil
3. # 1. 删除文件夹
4. """
5. path = os.path.join(base_path, 'xx')
6. shutil.rmtree(path)
7. """
9. # 2. 拷贝文件夹
10. """
11. shutil.copytree("xxxxx","xxxx")
12. """
14. # 3.拷贝文件
15. """
16. shutil.copy("xxxx","xxxxx")
17. shutil.copy("xxxxx","xxxx")
18. """
20. # 4.文件或文件夹重命名
21. """
22. shutil.move("xxxx.png","x.png")
23. shutil.move("/files","/images")
24. """
26. # 5. 压缩文件
27. """
28. # base_name，压缩后的压缩包文件
29. # format，压缩的格式，例如："zip", "tar", "gztar", "bztar", or "xztar".
30. # root_dir，要压缩的文件夹路径
31. """
32. # shutil.make_archive(base_name=r'datafile',format='zip',root_dir=r'files')
35. # 6. 解压文件
36. """
37. # filename，要解压的压缩包文件
38. # extract_dir，解压的路径
39. # format，压缩文件格式
40. """
41. # shutil.unpack_archive(filename=r'datafile.zip', extract_dir=r'xxxxxx/xo', format='zip')

复制代码

3.3 sys

1. import sys
3. # 1. 获取解释器版本
4. """
5. print(sys.version)
6. print(sys.version_info)
7. print(sys.version_info.major, sys.version_info.minor, sys.version_info.micro)
8. """
10. # 2. 导入模块路径
11. """
12. print(sys.path)
13. """

复制代码

• argv，执行脚本时，python解释器后面传入的参数
  

1. import sys
3. print(sys.argv)
6. # [
7. #       'xxxxx/2.接受执行脚本的参数.py'
8. # ]
10. # [
11. #     "2.接受执行脚本的参数.py"
12. # ]
14. # ['2.接受执行脚本的参数.py', '127', '999', '666', 'wupeiqi']
16. # 例如，请实现下载图片的一个工具。
18. def download_image(url):
19.     print("下载图片", url)
22. def run():
23.     # 接受用户传入的参数
24.     url_list = sys.argv[1:]
25.     for url in url_list:
26.         download_image(url)
29. if __name__ == '__main__':
30.     run()

复制代码

3.4 random

1. import random
3. # 1. 获取范围内的随机整数
4. v = random.randint(10, 20)
5. print(v)
7. # 2. 获取范围内的随机小数
8. v = random.uniform(1, 10)
9. print(v)
11. # 3. 随机抽取一个元素
12. v = random.choice([11, 22, 33, 44, 55])
13. print(v)
15. # 4. 随机抽取多个元素
16. v = random.sample([11, 22, 33, 44, 55], 3)
17. print(v)
19. # 5. 打乱顺序
20. data = [1, 2, 3, 4, 5, 6, 7, 8, 9]
21. random.shuffle(data)
22. print(data)

复制代码

3.5 hashlib

1. import hashlib
3. hash_object = hashlib.md5()
4. hash_object.update("武沛齐".encode('utf-8'))
5. result = hash_object.hexdigest()
6. print(result)

复制代码

1. import hashlib
3. hash_object = hashlib.md5("iajfsdunjaksdjfasdfasdf".encode('utf-8'))
4. hash_object.update("武沛齐".encode('utf-8'))
5. result = hash_object.hexdigest()
6. print(result)

复制代码

3.6 configparser

见：day06
3.7 xml

见：day06
总结

• 模块和包的区别
  
• 了解如何导入模块
  
  
  
  • 路径
    
  • 导入方式
    
  
  
• 导入模块时一般要遵循的规范【补充】
  
  
  
  • 注释：文件顶部或init文件中。
    
  • 在文件顶部导入
    
  • 有规则导入，并用空行分割。
    1. # 先内置模块
    3. # 再第三方模块
    5. # 最后自定义模块

    复制代码
    1. import os
    2. import sys
    3. import random
    4. import hashlib
    6. import requests
    7. import openpyxl
    9. from commons.utils import encrypt

    复制代码
  
  
• 第三方模块安装的方法
  
• 常见内置模块
  

作业

• 自己去网上搜索如何基于Python计算mp4视频的时长，最终实现用代码统计某个文件夹下所有mp4的时长。
  

1. from moviepy.editor import VideoFileClip
2. import os
5. # 遍历目录下的所有mp4
6. def get_mp4_hour(file_path):
7.     total_seconds = 0
8.     data = os.walk(file_path)
9.     for path, folder_list, file_list in data:
10.         for file_name in file_list:
11.             file_abs_path = os.path.join(path, file_name)
12.             ext = file_abs_path.rsplit(".", 1)[-1]
13.             if ext == "mp4":
14.                 clip = VideoFileClip(file_abs_path)
15.                 duration = clip.duration
16.                 total_seconds += duration
18.     hour = round(total_seconds/60/60, 2)
19.     return hour
22. if __name__ == '__main__':
23.     get_mp4_hour("xxxx")

复制代码

来源:https://www.cnblogs.com/sbhglqy/p/18117252
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！