跳至主要內容

scrapy - jackssybin 的个人博客

 scrapy (6)

来来scrapy爬取各大网站每日热点新闻 有更新！

  |   0 评论   |   2830 浏览

一.背景 最近玩爬虫，各种想爬，scrapy又非常好用。想多爬一点东西，决定爬一爬各大网站的热点新闻。 想到就开始做了哈 项目已经爬取： 豆瓣， 微博， 百度贴吧， 虎扑， github，百度今日热点 二.上代码 1.开始搭建项目 scrapy startproject crawl_everything #起了个叼叼的名字 2.修改配置文件 settings.py设置文件: ROBOTSTXT_OBEY = False # 下载延时 DOWNLOAD_DELAY = 0.5 #增加user-agent 这个可以拿自己浏览器的。也可以网上搜一些其他的。东西很多的 USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5' 初步设想，我只需要存取文章的标题和内容链接和抓取时间 修改items.py 那么定义的item如下： class CrawlEverythingItem(....

实战4Scrapy自动爬取腾讯招聘职位信息 有更新！

  |   0 评论   |   4651 浏览

创建爬虫项目: scrapy startproject 项目名 scrapy startproject tencent 查看当前可以使用的爬虫模板: scrapy genspider -l 基于任意模板生成一个爬虫文件: scrapy genspider -t 模板 自定义爬虫名 域名 scrapy genspider -t basic tencentSpider careers.tencent.com 执行爬虫文件(后面有：--nolog 表示不打印日记): scrapy crawl 爬虫名 --nolog 我们打开腾讯招聘网页，并观察切换页面时候的变化以及我们需要爬取的信息字段的效果图如下： 修改了实体文件之后，我们在观察需要提取数据的标签特点，效果图如下： 从途中可以看到，我们需要的数据都在 tr 标签中，但是细心的同学会发现，由于这些列表是斑马线的颜色，因此他们有两个不同的 class 属性类型，好了，我们现在Spisers 文件夹下创建一个基于 basic 模板的爬虫文件并处理爬取操作： # -- coding: utf-8 -- import scrapy from....

实战3Selenium的基本使用-登录知乎并爬取信息 有更新！

  |   2 评论   |   6021 浏览

由于 JavaScript 动态渲染的页面不止 Ajax 这一种，有些网站获取数据并不包含Ajax请求，有些网站是对 Ajax 进行加密处理；为了解决这写问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就可见即可抓。 Python提供了许多模拟浏览器运行的库，如 Selenium、Splash、PyV8、Ghost 等；我们接下来以 Selenium为例，那么要使用的话我们就必须要做相应的安装，这里要注意一点的是由于我们操作的是 谷歌浏览器，因此再使用这个库之前必须要先安装好 谷歌浏览器以及操作浏览器的驱动执行文件。 一、操作前准备 安装谷歌浏览器 通过命令安装库：pip install selenium 下载谷歌浏览器驱动并配置环境变量 http://npm.taobao.org/mirrors/chromedriver/ 二、基本操作 自动打开百度首页并休眠几秒钟后自动关闭 from selenium import webdriver import time driver = webdriver.Chrome() # ....

实战2之爬取表情包

  |   0 评论   |   4418 浏览

一、爬取表情包思路（http://www.doutula.com） 1、打开网站，点击最新套图 2、之后我们可以看到没有套图，我们需要提取每个套图的连接 3、获取连接之后，进入页面提取图片就好了 4、我们可以发现该网站还穿插有广告，我们需要过滤点广告 二、实战 关于新建项目我们就不再多说了。 1、首先我们提取第一页的url 通过上图我们可以发现我们想要的url全在class名为col-sm-9的div下， 红色框的部分为广告。不是a标签，所以我们就不用过滤了。我们直接选取col-sm-9下的直接子节点即可 写下如下代码： 值得注意的是在settings.py中需要添加头信息和将robots.txt协议修改为False 我们打上断点调试一下： 我们发现我们想要的信息已经提取出来了。 注意：在Request中的mate参数，是用来传递参数的，传递给下一个方法使用。使用方法和字典相似。 2、完善item 我们只需要三个字段，什么系列，图片url，图片名称。 3、提取item中我们需要的字段 4、下一页 5、保存 因为对scrapy保存图片没有研究，所以就自己写保存图片的方法。 ....

爬虫框架Scrapy的安装与基本使用

  |   0 评论   |   4439 浏览

一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装PyWin32：在官网下载wheel文件。 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ 配置环境变量：将scrapy所在目录添加到系统环境变量即可。 ctrl+f搜索即可。 最后安装scrapy，pip3 install scrapy 2、创建一个scrapy项目 新创建一个目录，按住shift-右键-在此处打开命令窗口 输入：scrapy startproject tutorial即可创建一个tutorial文件夹 文件夹目录如下： |-tutorial |-scrapy.cfg   |-init.py   |-items.py   |-middlewares.py   |-pipelin....

三大解析库的使用

  |   0 评论   |   4439 浏览

1，XPath的使用 在使用前，需要安装lxml库。 安装代码：pip3 install lxml 1.1XPath的常用规则: / 表示选取直接子节点 // 表示选取所有子孙节点 . 选取当前节点 .. 选取当前结点的父节点 @ 选取属性 看完这些？你是不是还是一脸懵逼？下面我们来实际运用一下。 1.2实例引用 如图： 导入etree模块 etree.HTML()是构造一个XPath对象 etree.tostring()是对代码进行修正，如果有缺失的部分，会自动修复 方法比较简单，就不截取效果图了。 如果我们相对本地的文件进行解析怎么办？我们可以这样写 etree.parse()第一个参数为html的路径，第二（etree.HTMLParser()）和上面etree.HTML()的性质是一样的，为了方便，接下里我使用对本地文件进行解析。 html文本如下： 1.3获取所有的节点 结果： 开头用//表示选取所有符合的节点，*表示获取所有的节点， 上面两句话一看这不是一个意思吗？会不懂！ 我们可以分为两步理解: 第一步//是选取所有符合要求的节点，没有指明是什么要求！，不知道你要....