网页源代码与页面内容不一致怎么办?
编程并不是一个机械性的工作,而是需要有思考,有创新的工作,语法是固定的,但解决问题的思路则是依靠人的思维,这就需要我们坚持学习和更新自己的知识。今天米云就整理分享《网页源代码与页面内容不一致怎么办? 》,文章讲解的知识点主要包括,如果你对文章方面的知识点感兴趣,就不要错过米云,在这可以对大家的知识积累有所帮助,助力开发能力的提升。

爬虫时网站源代码与页面内容和 ELEMENT 不一致解决方法
在爬取网页时,遇到网页源代码与页面内容和 ELEMENT 不一致的情况,可以考虑以下方法解决:
对于本例中的 58 同城工作页面,网页源代码显示申请和浏览人数为 0,而页面数据和 F12 中的 ELEMENT 内容却是一致的。这种情况说明实际数据并不是存储在 HTML 源代码中,而是动态加载的。
要解决此问题,需要找到动态加载数据的接口地址。通过分析页面源码或网络请求,发现以下地址可以获取申请和浏览人数数据:
向此地址发送请求,即可得到 JSON 数据,其中包含申请和浏览人数信息:
{
deliveryCount: 1141,
commentCount: 0,
infoCount: 4,
resumeReadPercent: 0,
referUrl: "",
nextUrl: "null"
}
deliveryCount 即为申请人数,commentCount 为浏览人数。通过这种方式,即使网页源代码和 ELEMENT 中没有直接包含这些数据,也能成功爬取到所需的信息。
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持米云!更多关于文章的相关知识,也可关注米云公众号。
- 按需引入Vant:为什么JS表达式组件没有样式,标签组件却有?
