请选择 进入手机版 | 继续访问电脑版

[图文教程] 30行代码爬取妹子图整站美女图片

[复制链接]
admin 发表于 2017-10-12 15:46:28|显示全部楼层 |阅读模式 打印 上一主题 下一主题
大家感得有没有什么爬下来有价值内容请给我回复下,谢谢......

2017年10月12日更新:
1.把程序打包成EXE文件.
2.因为scrapy不能打包成单个EXE环境,所以将文件修改成单文件,并采用多线程.

EXE文件下载地址:
链接: https://pan.baidu.com/s/1bpvYlNh 密码: fxn2

爬行效果图:

142625dmqggreos5iemi59.jpg
183849cw68wwwiuoy1w7br.jpg
142840zdc34draar1qc1cz.jpg

scrapy Spider完整代码:

  1. # -*- coding: utf-8 -*-
  2. import requests
  3. import os
  4. from scrapy.spiders import CrawlSpider, Rule
  5. from scrapy.linkextractors import LinkExtractor


  6. class MzituSpider(CrawlSpider):
  7.     name = 'mzituSpider'
  8.     start_urls = ['http://www.mzitu.com/']
  9.     rules = (Rule(LinkExtractor(allow=('http://www.mzitu.com/\d{1,6}',), ), callback='parse_item', follow=True),)

  10.     def header(self, referer):
  11.         headers = {
  12.             'Host': 'i.meizitu.net',
  13.             'Pragma': 'no-cache',
  14.             'Accept-Encoding': 'gzip, deflate',
  15.             'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
  16.             'Cache-Control': 'no-cache',
  17.             'Connection': 'keep-alive',
  18.             'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
  19.             'Accept': 'image/webp,image/apng,image/*,*/*;q=0.8',
  20.             'Referer': '{}'.format(referer),
  21.         }
  22.         return headers

  23.     def parse_item(self, response):
  24.         imageUrl = response.css(".main-image img ::attr(src)").extract_first()
  25.         with open('images' + os.sep + imageUrl.split('/')[-1], "wb+") as jpg:
  26.             jpg.write(requests.get(imageUrl, headers=self.header(imageUrl)).content)
复制代码





温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、站创神码全站资源来之于自购或者破解,分享的源码仅供学习用途,切勿用于任何非法用途以及非法传播分享。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版-小黑屋- 站创神码

Powered by 站创神码! X3.3© 2016-2017 站创神码 Inc.