为什么用python爬取网页数据，在检查net work中很多和教程上不一样？-凯发app官方网站

很多同学们在初学python的时候，都会遇到这个问题：在使用python进行网页数据爬取时，在浏览器的"network"(网络)选项卡中可能无法看到与视频教程或其他参考资料中显示的相同结果，经过各种对比，总是找不出结症在哪，今天就来说说，我们为什么会出现这个问题，以及我们应该怎么做，才能解决这个问题？

一、为什么会出现这个问题？

出现这个问题，大概率是因为以下原因：

1.网页内容是动态的

有的网站使用javascript或其他客户端技术来加载内容的。这项技术可以在页面加载后使用异步请求来获取数据。在网络选项卡中，我们可能只能看到初始页面加载的请求，而无法看到后续通过javascript加载的内容，所以导致了我们在在网络选项卡中缺少了部分内容。

2.白名单/账密验证

有的网站如某宝，是要求用户登录或进行身份验证才能看到更多内容的，如果没有进行这一步，那爬取网站上的受限内容就比较有限。而我们很多视频教程可能没有涉及到这些，因此我们在实践过程中，对比视频教程在网络选项卡中可能会看到不同的结果。

3.网站的反爬机制

目前，很多网站都有反爬虫措施，而我们在摸清该网站的反爬机制之前（说实话，大部分也摸不清，毕竟网站的技术团队也不傻，不过我们可以大概判断一下），在网络选项卡中也会显示不同结果。

二、应该如何解决这个问题？

好在我们可以尝试解决，逐一排查，对症下药。

1.检查页面源代码

查看页面的源代码，确保我们此时需要的数据确实存在于html中。不过，有的时候，我们可能需要查找异步加载的数据，使用浏览器的开发者工具中的"elements"(元素)选项卡来检查页面结构，看看是否能解决该问题。

2.模拟浏览器行为

主要是通过模拟浏览器行为，比如javascript的执行，可以获取到动态加载的内容，我们可以使用selenium等工具来自动化浏览器并获取完整的页面内容。selenium自动化，我前段时间有说过这个话题，感兴趣可以往前翻一下。

3.处理登录和身份验证

使用相关的库来模拟登录过程，或者通过发送正确的身份验证信息来获取访问权限。

4.降低爬虫频率

避免过于频繁请求数据，触发网站的反爬虫措施。

总的来说，萌新在跟着视频学习python的时候，会遇到各种各样的问题，还是需要大家动手看看网上其他人怎么解决的，因为每个人都有萌新时期，你遇到的问题，大概率前人已经遇到过，并且解决了。