简单用14行代码写一个Python代理IP的爬虫

简单用14行代码写一个Python代理IP的爬虫

生活服务小七2018-11-01 12:50:54A+A-

相信用别的语言只用14行是写不出来这样的效果的!而我们的Python 只需要区区的14行代码就能写出来哦! 

这就是Python为什么是全球现在比较流行的语言之一了!因为简单 容易学! 比较上手!  现在就连某城市的小学生都已经开始学了! 生怕孩子输在了起跑线上了!

image.png


你也许可能会问我们 爬这些代理IP有什么用呢? 我可以告诉你  只要你学到爬虫这块 就必须要学会 反爬!    在这里有的同学可能又不懂了! 不知道什么是反爬!  反爬就是一个网站 为了防止别人写的爬虫去爬取上面的内容 做的一些措施! 比如 UA验证, 复杂一点的 就是IP验证了!  原理就是 如果有一个IP短时间内 请求很多次  不像一个人的正常请求 !  这时候就会被服务器判定成机器人了! 也就是爬虫!  然后跳转一个特别的网页  比如给出一个403的错误页面!  那就是你的IP被服务器暂时封禁了!

下面的图就是一个很好的例子! 由于我在一定时间内 请求的次数非常的多! 所以被封禁了!

image.png

接下来开始我们的教程吧!  需要用的模块有 requests_html  没有安装的同学  赶紧安装!  安装方法 pip install  模块名称!


下面开始步入正题:    分析 view-source:http://www.xicidaili.com/nn/ 的源代码 !  class ='odd'  我们只需要抓取这个元素对象所有的文本内容!

image.png


r.html.find('.odd')    find 查找的意思   .odd  就是 class的元素!  

直接附上我们的源代码吧!

from requests_html import HTMLSession
session = HTMLSession()


def ip():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
    url = 'http://www.xicidaili.com/nn/'
    r = session.get(url, headers=headers)
    r = r.html.find('.odd')
    for x in r:
        print(x.text.split())


if __name__ == '__main__':
    ip()


以上就是爬取ip网站的源代码 如有不足的地方欢迎指出!



点击这里把资源分享给朋友 以上内容由小七资源网整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!

小七资源网 © All Rights Reserved.  Copyright 小七资源网
本站部分内容收集于互联网,如果有侵权内容、不妥之处,请联系我们删除。敬请谅解!E-mail:[email protected]