手把手教你爬取天堂网1920*1080大图像（大量下载）——实战篇

网站描述：

/1 序言/ 上篇文章 手把手教你爬取天堂网1920*1080大图像（大量下载）——理论篇咱们谈及了天堂网站图像抓取的理论，这篇文章将对于上篇文章的未尽事宜进行完备，完结图像的大量抓取。 /2 图像网址分析/ 1. 咱们首先来解析一下这个图像的地点在哪里。咱们选取图像，接着右击网页检验，可以看见图像的路径，如下图所示。 2. 将其单独放出来，如下图所示。 3. 可以看见<a href>就是图像的链接，而src就图像的地点，因此咱们可以找它的上一级标签<ul>。假设再找不到那就再找上一级以此类推（搜到越全面内容更确切）。应用选取器xpath，获得到src的值（网址后缀）之后，将后缀加上“https前缀”就可以获得每1个网址，如下图所示： 4. 之后尝试运作，如下图所示，可以获得到详细的网址。 5. 咱们再对这个网址进行恳求（考虑1个恳求的方式）解析信息。 6. 咱们以这个鱼的图像为例，点击它来到二级页面。 7. 右键检验 可以看见咱们要获得的是src的地点，如下图所示。 8. 获得图像的源码，如下图所示。 9. Xpath 获得到路径，为了便利辨别图像的名称，如下图所示。 /3 下载图像/ 1. 为便利贮存，新建1个filename来作为保管的路径，如下图所示。 2. 也就是说你须要在Python代码的同级目次，提早新建1个文件夹，名叫“天堂网爬的图像”，假设没有这个文件夹的话，将会报下图的错。 3. 应用with函数进行文件的翻开和写入，下方代码的含意是创立1个文件，代码框里边有详细的注释。 "wb" # 意思是以二进制格式翻开1个文件只用来写入。假设该文件已存在则将其覆盖。假设该文件不存在，创立新文件。 "as f" # 意思是写入1个叫f的文件。 "f.wirite(html)" # 意思是说把html的内容写入f这个文件。 4. 以下是逐个编码代表的含意，可以学习一下。 5. 基于以上代码，根本上就可实现大量下载。接下来，咱们持续优化一下。咱们导入1个叫fake_useragent的库 fake_useragent第三方库，来实现随机恳求头的设置。 print(ua.ie) #随机打印ie浏览器任意版本 print(ua.firefox)#随机打印firefox浏览器任意版本 print(ua.chrome) #随机打印chrome浏览器任意版本 print(ua.random) #随机打印任意厂家的浏览器 6. 咱们可以再初始化init方式，增加ua.random，让它随机的形成；此中UserAgent代码如图：（这里设置随机形成50个挑选此中1个进行恳求） 7. 终极实现的成效图，终端显现如下图所示。 8. 将图像智能下载到本地后的成效图，高清的噢~ 9. 至此，对于分析出来的图像地点加以大量下载的任务已然完结，接下来自己可以高兴的去浏览图像啦。 10. 不倡议大家爬取太多信息，如此会给服务器加大负载，浅尝辄止便可。 /4 小结/ 本文基于理论篇，通过Python 中的爬虫库 requests 、lxml、fake_useragent，带大家进行网页构造的解析以及网页图像地点信息的提炼，而且对于分析出来的图像地点加以大量下载，方式行之有效，欢迎大家踊跃尝试。

发布日期： 2023-09-24 16:05

网站标签： 咨询模块 咨询模块 手把手教你爬取天堂网1920*1080大图像（大量下载）——实战篇