如何使用python网络爬虫抓取视频?
之前跟大家说过使用python爬到很多内容,比如图片,比如文字,那大家有没有知道可不可以用python去爬取视频的呢?小伙伴们有没有见到过呢?由于这个好奇心,小编于是去看了很多资料,果然世间万物都是大同小异,全部都是可以融会贯通的,下面就是小编给大家整理出来的内容,有需要的可以了解下呢~
准备工作:
l Chrome 浏览器、
l Vim
l Python3 开发环境
l Kali Linux
API 寻找 && 提取
1、我们通过 F12 打开开发者模式。
2、再查看一下 Headers 属性
3、再看下看到Request URL这个属性值
代码实现
写好脚本,利用爬虫下载片断
##导入的两个模块,其中requests模块需要自行下载 from multiprocessing import Pool import requests ##定义一个涵数 def demo(i): ##定义了一个url,后面%3d就是截取后面三位给他加0,以防止i的参数是1的时候参数对不上号,所以是1的时候就变成了001 url="https://vip.okokbo.com/20180114/ArVcZXQd/1000kb/hls/phJ51837151%03d.ts"%i ##定义了请求头信息 headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36"} ##构建自定义请求对象 req=requests.get(url,headers=headers) ##将文件保存在当前目录的mp4文件中,名字以url后十位数起名 with open('./mp4/ {}'.format(url[-10:]), 'wb') as f: f.write(req.content) ##程序代码的入口 if __name__=='__main__': ##定义一个进程池,可以同时执行二十个任务,不然一个一个下载太慢 pool = Pool(20) ##执行任务的代码 for i in range(100): pool.apply_async(demo, (i,)) pool.close() pool.join()
复制电影存放的路径
用进入windows命令行模式,粘贴地址
复制该目录下所有以*.ts结尾的文件,复制成一个文件
进行合并
进行验证
好啦,以上内容可以供小伙伴们在闲暇之余爬取看下自己想看的视频哦~或者可以用于之后的工作中呢,是个非常实用的技巧,大家要好好学习掌握住哦~
来源:PY学习网:原文地址:https://www.py.cn/article.html