微信分销系统ppt_设计上海展会2021_汉中市建设工程招投标交易中心_手机编程的app import scrapyclass MainSpider(scrapy.Spider):name = "main"# allowed_domains = ["www.xxx.com"]# 定义第一页的页面链接,会自动爬取start_urls = ["https://pic.yesky.com/c/6_25152.shtml"]# 定义一个页面连接模板page_url = 'https://pic.yesky.com/c/6_25152_%d.shtml'# 定义一个页码变量, 从2开始, 因为第一页已经自动发送请求了page_num = 2def parse(self, response):# 获得所有的li元素并将这些li存入列表中,封装为Selector对象返回li_list = response.xpath('//ul[@class="classification_listContent"]/li')# 循环获得所有li标签下的第二个a标签的文本for li in li_list:# 获得每个图片的描述img_name = li.xpath('./a[2]/text()').extract_first()print(img_name)# 可以将爬取到的数据存入item对象中# 判断要爬取的页面数量大于等于5时# 则不再进行爬取新的页面if self.page_num <= 5:# 拼接页面的链接new_page_url = format(self.page_url % self.page_num)# 拼接完成后页码加一,用于下一次爬取,下一个页面的数据self.page_num += 1# 使用 yield scrapy.Request(请求的url, 对返回数据进行处理的回调函数)# 手动向一个URL地址发送请求# 传入两个参数,一个请求的URL地址,一个回调函数# 当请求成功时,会将响应的数据传给自身的parse函数继续执行里面的逻辑代码yield scrapy.Request(url=new_page_url, callback=self.parse)">

拓者设计吧app

家装设计师培训要多久、东莞免费企业网站建设、永久使用、不限域名、深圳注册公司地址怎么解决

嘉兴门户网站?

微信分销系统ppt_设计上海展会2021_汉中市建设工程招投标交易中心_手机编程的app

西安短视频代运营求个没封的a站yw1129cm足球彩票网站建设开发沈阳品牌设计公司中国建筑集团有限公司董事长官方网站建设平台微信小程序开发教程模板福州专业做网站计算机培训机构排名东莞做网页公司厦门网站设计品牌企业网络品牌推广多少钱网站程序开发教程网站首页效果图怎么设计如何创建企业邮箱苏州做网站的店铺logo设计在线生成世界互联网乌镇峰会百度seo网站优化 网络服务企业做网站的用途免费seo优化共青城网站建设移动网站模板北京网站设计十年乐云seo国外平面设计网站大全新疆乌鲁木齐最新消息建筑工程资质h5网站设计开发一个小程序需要多久互联网有限公司企业计划书

猜你喜欢

  • 友情链接:
  • 阿里巴巴代加工平台 数字展厅企业展厅 西双版纳傣族自治州属于哪个市 网络图怎么绘制 ppt公司简介页面设计 中文搜索引擎