Python爬取超链接（爬虫爬取网址超链接）

本篇文章给大家谈谈Python爬取超链接，以及爬虫爬取网址超链接对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Python网页解析库：用requests-html爬取网页
• 2、写个python 爬虫怎么爬取一个网页上面发现的url链接
• 3、用python selenium提取网页中的所有标签中的超级链接地址
• 4、python为什么爬取一个网页时，得到的文本中的超链接会变成外链？
• 5、python 怎样爬取网页所有链接
• 6、python 用自定义函数获取所有超链接

Python网页解析库：用requests-html爬取网页

Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等。在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前就知道 Reitz 大神出了一个叫 Requests-HTML 的库，一直没有兴趣看，这回可算歹着机会用一下了。

使用 pip install requests-html 安装，上手和 Reitz 的其他库一样，轻松简单：

这个库是在 requests 库上实现的，r 得到的结果是 Response 对象下面的一个子类，多个一个 html 的属性。所以 requests 库的响应对象可以进行什么操作，这个 r 也都可以。如果需要解析网页，直接获取响应对象的 html 属性：

不得不膜拜 Reitz 大神太会组装技术了。实际上 HTMLSession 是继承自 requests.Session 这个核心类，然后将 requests.Session 类里的 requests 方法改写，返回自己的一个 HTMLResponse 对象，这个类又是继承自 requests.Response,只是多加了一个 _from_response 的方法来构造实例：

之后在 HTMLResponse 里定义属性方法 html，就可以通过 html 属性访问了,实现也就是组装 PyQuery 来干。核心的解析类也大多是使用 PyQuery 和 lxml 来做解析，简化了名称，挺讨巧的。

元素定位可以选择两种方式：

方法名非常简单，符合 Python 优雅的风格，这里不妨对这两种方式简单的说明：

定位到元素以后势必要获取元素里面的内容和属性相关数据，获取文本：

获取元素的属性：

还可以通过模式来匹配对应的内容：

这个功能看起来比较鸡肋，可以深入研究优化一下，说不定能在 github 上混个提交。

除了一些基础操作，这个库还提供了一些人性化的操作。比如一键获取网页的所有超链接，这对于整站爬虫应该是个福音，URL 管理比较方便：

内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息：

结果如下：

通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下：

通过查找 a 标签里面是否含有指定的文本来判断是不是有下一页，通常我们的下一页都会通过 下一页 或者 加载更多 来引导，他就是利用这个标志来进行判断。默认的以列表形式存在全局： ['next','more','older'] 。我个人认为这种方式非常不灵活，几乎没有扩展性。 感兴趣的可以往 github 上提交代码优化。

也许是考虑到了现在 js 的一些异步加载，这个库支持 js 运行时，官方说明如下：

使用非常简单，直接调用以下方法：

第一次使用的时候会下载 Chromium，不过国内你懂的，自己想办法去下吧，就不要等它自己下载了。render 函数可以使用 js 脚本来操作页面，滚动操作单独做了参数。这对于上拉加载等新式页面是非常友好的。

写个python 爬虫怎么爬取一个网页上面发现的url链接

1.使用beautifulsoup框架。

from bs4 import BeautifulSoup

bs = BeautifulSoup('网页源码', "html.parser")

bs.findAll('a') # 查找所有的超链接

# 具体方法可以参见官方文档

2.使用正则表达式

用python selenium提取网页中的所有标签中的超级链接地址

提取所有链接应该用循环：

urls = driver.find_elements_by_xpath("//a")

for url in urls:

    print(url.get_attribute("href"))

如果get_attribute方法报错应该是没有找到a标签对象，如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间；另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。

python为什么爬取一个网页时，得到的文本中的超链接会变成外链？

//取得所有链接

function get_all_url($code)

{

    preg_match_all('/"\' ]+)["|\']?\s*[^]*([^]+)\/a/i', $code, $arr);

    return array('name' = $arr[2], 'url' = $arr[1]);

}

python 怎样爬取网页所有链接

给你贴一下我前一段时间回答的类似问题，用的soup，还有一个用的正则就不贴了，手机不太方便，如下。

import beautifulsoup

import urllib2

def main():

userMainUrl = "你要抓取的地址"

req = urllib2.Request(userMainUrl)

resp = urllib2.urlopen(req)

respHtml = resp.read()

foundLabel = respHtml.findAll("label")

finalL =foundLabel.string

print "biaoti=",finalL

if __name__=="__main__":

main();

PS：如果不会改的话追问一下，回头我用电脑给你写一份

python 用自定义函数获取所有超链接

用正则匹配

import re

html = '''h3contact us/h3

pcontact: manager wang/p

ptelephone:12345666/p

div id="nav"

ul

lia class="nav-first" href="/"homepage/a/li

lia href="/lista.php"111/a/li 

lia href="/lista.php"222/a/li

lia href="/order/setorder.php"333/a/li

lia href="/what/cool/ista.php"444/a/li

/ul

/div'''

urls = re.findall('href=.*?', html)  # 正则出a链接 href

urlList = []  # 定义urlList

for url in urls:

    url = url.replace("href=\"", '')  # 替换href="

    urlList.append(url[:-2])  # 获取的0到-2长度的字符串

print(urlList)

输出：

['/', '/lista.php', '/lista.php', '/order/setorder.php', '/what/cool/ista.php']

关于Python爬取超链接和爬虫爬取网址超链接的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。