标签：scrapy

来来scrapy爬取各大网站每日热点新闻

一.背景 最近玩爬虫，各种想爬，scrapy又非常好用。想多爬一点东西，决定爬一爬各大网站的热点新闻。 想到就开始做了哈 项目已经爬取： 豆瓣， 微博， 百度贴吧， 虎扑， github，百度今日热点 二.上代码 1.开始搭建项目 scrapy startproject crawl everything 起了个叼叼的名...

实战4Scrapy自动爬取腾讯招聘职位信息

创建爬虫项目: scrapy startproject 项目名 scrapy startproject tencent 查看当前可以使用的爬虫模板: scrapy genspider l 基于任意模板生成一个爬虫文件: scrapy genspider t 模板 自定义爬虫名 域名 scrapy genspider t...

实战3Selenium的基本使用-登录知乎并爬取信息

由于 JavaScript 动态渲染的页面不止 Ajax 这一种，有些网站获取数据并不包含Ajax请求，有些网站是对 Ajax 进行加密处理；为了解决这写问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就可见即可抓。 Python提供了许多模拟浏览器运行的...

实战2之爬取表情包

一、爬取表情包思路（http://www.doutula.com） 1、打开网站，点击最新套图 2、之后我们可以看到没有套图，我们需要提取每个套图的连接 3、获取连接之后，进入页面提取图片就好了 4、我们可以发现该网站还穿插有广告，我们需要过滤点广告 二、实战 关于新建项目我们就不再多说了。 1、首先我们提取第一页的u...

爬虫框架Scrapy的安装与基本使用

一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装PyWin32：在官...

三大解析库的使用

1，XPath的使用 在使用前，需要安装lxml库。 安装代码：pip3 install lxml 1.1XPath的常用规则: / 表示选取直接子节点 // 表示选取所有子孙节点 . 选取当前节点 .. 选取当前结点的父节点 @ 选取属性 看完这些？你是不是还是一脸懵逼？下面我们来实际运用一下。 1.2实例引用 如图...