种约定丶 发表于 2023-5-24 14:50:37

使用Python采集某网站视频,实现音视频自动合成!

 
https://img-blog.csdnimg.cn/bba6a9ff33da49e68ca849f2d8d34e37.png
一、准备一下

开发环境
Pycharm
python 3.8
ffmpeg模块的使用
requests
re
subprocess二、基本思路流程

1、明确需求

采集下破站视频数据
通过开发者工具进行抓包分析,分析破站视频数据的来源。
开发者工具的使用
打开方式:

[*]鼠标右键点击检查选择Network
[*]F12
[*]ctrl + shift + i
https://img-blog.csdnimg.cn/e498a1a9c7e84e06a1937ac71487763c.png
想要开发者工具中有数据加载, 需要 刷新网页。
通过元素(Element)面板,我们能查看到想抓取页面渲染内容所在的标签、使用什么 CSS 属性(例如:class=“middle”)等内容。例如我想要抓取我知乎主页中的动态标题,在网页页面所在处上右击鼠标,选择“检查”,可进入 Chrome 开发者工具的元素面板。
网络(Network)面板记录页面上每个网络操作的相关信息,包括详细的耗时数据、HTTP 请求与响应标头和 Cookie,等等。这就是我们通常说的抓包。
Requests Table参数:
all:所有请求数据(图片、视频、音频、js代码、css代码)
XHR:XMLHttpRequest 的缩写,是ajax技术的核心,动态加载完成经常分析的一个内容
CSS: css样式文件
JS:JavaScript文件,js解密是常分析的一个页面
Img: Images 图片文件
Font: 字体文件(字体反扒)
DOC : Document,文档内容
WS: WebSocket,web端的socket数据通信,一般用于一些实时更新的数据
Requests详情:
请求头Headers 是显示 HTTP 请求的 Headers,我们通过这个能看到请求的方式,以及携带的请求参数等。

[*]General
Request url :实际请求的网址
Request Method: 请求方法
Status Code: 状态码,成功时为 200
[*]Response Headers
服务器返回时设置的一些数据,例如服务器更新的cookie数据最新是在这里出现修改。
[*]Requests Headers
请求体,请求不到数据的原因一般出在这里,反扒也是反扒请求体里面的数据。
Accept:服务器接收的数据格式(一般忽略)
Accept-Encoding: 服务器接收的编码(一般忽略)
Accept-Language: 服务器接收的语言(一般忽略)
Connection: 保持连接(一般忽略)
Cookies: cookies信息,是身份信息,爬取VIP资源是需要携带身份信息。
Host: 请求的主机地址
User-Agent: 用户身份代理,服务器根据这个判断用户的大概信息。
Sec-xxx-xxx: 其他信息,可能没用,可能是反扒,具体情况具体分析。
预览
Preview 是请求结果的预览。一般用来查看请求到的图片,对于抓取图片网站比较给力。
响应体
Response 是请求返回的结果。一般的内容是整个网站的源代码。如果该请求是异步请求,返回的结果内容一般是 Json 文本数据。
此数据与浏览器展示的网页可能不一致,因为浏览器是动态加载的。
2、数据来源分析

https://img-blog.csdnimg.cn/e276b217cc2b451fa2c0f7b7c6a5fa08.png
所以可以根据里面的参数在开发者工具里面进行搜索
https://img-blog.csdnimg.cn/9941ba720a6b45fbb5f235266d487928.png
通过结果可得 playurl 就是我们想要的数据
https://img-blog.csdnimg.cn/9402922318e840ca84c3f0ca2bdc310d.png
既然我们知道了, 数据的来源, 接下来就要分析, 这个数据包url中有那些参数是我们需要去找寻分析的…
因为我们这个只是找到一个B站视频的数据, 如果想要获取多个那肯定是需要分析的。
https://img-blog.csdnimg.cn/e8b4f8d335e2453292edd90ecef9137f.png
https://img-blog.csdnimg.cn/d4efc7a1a8514a55b6332b0734f7211e.png
通过请求参数对比, 我们现在所需要找的参数就是 cid , bvid , session
同样可以直接在开发者工具里面搜索 这些参数来源 bvid 就是B站视频对应的ID
**cid / session 在网页源代码里面就可以获取的 **
https://img-blog.csdnimg.cn/4a7687dbad3a4cf4b1c7f271ff9e7f70.png
3、总结

通过以上分析可得:

[*]首先获取 cid session 这两个参数, 顺带在获取视频标题
[*]把cid session 以及 bv号 传入数据包内
[*]最后再获取 音频数据 以及 视频画面数据
三、代码实现步骤

可以发现, 关于python爬虫的流程思路分析, 所涉及的知识点还是比较多的。

[*]发送请求, 对于视频详情页url地址发送请求
[*]获取数据, 获取响应体的文本数据 response.text
[*]解析数据, 通过正则表达式提取数据内容: 视频标题 cid session
[*]发送请求, 对于视频内容数据包url发送请求
[*]获取数据, 获取响应体的json字典数据 response.json()
[*]解析数据, 通过字典键值对取值, 提取音频url 视频url
[*]保存数据, 对于音频url 视频url发送请求 获取响应体二进制数据 response.content
[*]合成数据, 把音频内容以及视频画面内容合成为一个完整的mp4文件
四、代码实现

1、发送请求
import requests
import re
import subprocess

headers = {
    'referer': 'https://www.bilibili.com',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
}


def get_response(html_url):
    """发送请求"""
# 完整源码+视频讲解 都放在这个扣裙了 708525271
    response = requests.get(url=html_url, headers=headers)
    return response 
2、获取视频标题/cid/session
def get_video_info(html_url):
    """获取 cid session 视频标题"""
    response = get_response(html_url)
    cid = re.findall('"cid":(\d+),', response.text)
    session = re.findall('"session":"(.*?)"', response.text)
    title = re.findall('<h1 title="(.*?)" >', response.text).replace(' ', '')
    video_info =
    return video_info 
3、获取音频url/视频url
def get_video_content(cid, session, bvid):
    """获取音频内容以及视频内容"""
    index_url = 'https://api.bilibili.com/x/player/playurl'
    data = {
      'cid': cid,
      'qn': '80',
      'type': '',
      'otype': 'json',
      'fourk': '1',
      'bvid': bvid,
      'fnver': '0',
      'fnval': '976',
      'session': session,
    }
    json_data = requests.get(url=index_url, params=data, headers=headers).json()
    audio_url = json_data['data']['dash']['audio']['baseUrl']
    video_url = json_data['data']['dash']['video']['baseUrl']
    video_content =
    return video_content 
4、保存数据
def save(name, audio_url, video_url):
    """保存数据"""
    audio_content = get_response(audio_url).content
    video_content = get_response(video_url).content
    with open(name + '.mp3', mode='wb') as a:
      a.write(audio_content)
    with open(name + '.mp4', mode='wb') as v:
      v.write(video_content)
    print(name, '保存成功') 
5、合成视频
def merge_data(video_name):
    """数据的合并"""
    print('视频合成开始:', video_name)
    cmd = f"ffmpeg -i {video_name}.mp4 -i {video_name}.mp3 -c:v copy -c:a aac -strict experimental {video_name}output.mp4"
    # print(cmd)
    subprocess.run(cmd, shell=True)
    print('视频合成结束:', video_name) 
好了,今天的分享就到这结束了,咱们下次见!

来源:https://www.cnblogs.com/hahaa/p/17428275.html
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: 使用Python采集某网站视频,实现音视频自动合成!