个人简介
宁为玉碎，不为瓦全
文章存档
我的朋友
发布时间：2023-06-26 16:16:23
说到数据爬取，大部分人都会想到使用scrapy工具，但是仅仅停留在会使用的阶段。但是要真正的成为技术大牛，需要学会更多的爬虫技术，对于爬虫来说突破各种网站的反爬机制也是需要技术能力的。所以今天为了增加对目标网站爬虫机制的理解，我们可以通过手动实现多线程的爬虫过程，同时，引入ip代理池进行基本的反爬操作.........
阅读(184) | 评论(0) | 转发(0)
发布时间：2023-06-14 16:22:00
在我们python强大的库里面，scrapy是一个功能强大的网络爬虫框架，允许开发者轻松地抓取和解析网站内容。在爬取有些网站数据的时候会遇到网页跳转的情况，一般http返回状态码是200，非200状态码，需要单独处理。scrapy默认只处理200状态码响应，非200状态码响应需要单独设置，如301永久跳转。可以只处理301跳转class mysp.........
阅读(210) | 评论(0) | 转发(0)
发布时间：2023-06-01 16:34:04
于一个刚学python爬虫的新手来说，学习python爬虫里面的「解析库的使用，要是记忆能力不强肯定会一边学一边忘记，正所谓好记性不如烂笔头，在自己学些爬虫相关的知识点可以记录下来然后多次实践肯定比单凭记忆力要记得牢，下面就是整理的一些解析库的知识，大家参考学习下。首先我们要弄明白为什么要学习解析库.........
阅读(215) | 评论(0) | 转发(0)