selenium复制网页内容（python复制网页文字）

本篇文章给大家谈谈selenium复制网页内容，以及python复制网页文字对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、从零开始学Python-使用Selenium抓取动态网页数据
• 2、selenium超全教程（4）-持续更新中
• 3、selenium中的对输入框文本进行全选，复制，粘贴，剪切和删除的操作

从零开始学Python-使用Selenium抓取动态网页数据

AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行局部更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。

因为传统的网页在传输数据格式方面，使用的是 XML 语法，因此叫做 AJAX ，其实现在数据交互基本上都是使用 JSON 。使用AJAX加载的数据，即使使用了JS将数据渲染到了浏览器中，在 右键-查看网页源代码 还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。

法1：直接分析ajax调用的接口。然后通过代码请求这个接口。

法2：使用Selenium+chromedriver模拟浏览器行为获取数据。

Selenium 相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。 chromedriver 是一个驱动 Chrome 浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：

现在以一个简单的获取百度首页的例子来讲下 Selenium 和 chromedriver 如何快速入门：

参考：Selenium的使用

直接直接分析ajax调用的接口爬取

selenium结合lxml爬取

selenium超全教程（4）-持续更新中

单选比较好操作，先定位需要单选的某个元素，然后点击一下即可。

多选好像也比较容易，依次定位需要选择的元素，点击即可。

下拉框的操作相对复杂一些，需要用到Select模块。

先导入该类

在select模块中有以下定位方法

测试页面

然后，再演示下拉框的不同选择的方式

Selenium打开一个页面之后，默认是在父页面进行操作，此时如果这个页面还有子页面，想要获取子页面的节点元素信息则需要切换到子页面进行擦走，这时候switch_to.frame()就来了。如果想回到父页面，用switch_to.parent_frame()即可。

既然是模拟浏览器操作，自然也就需要能模拟鼠标的一些操作了，这里需要导入ActionChains 类。

左键

这个其实就是页面交互操作中的点击click()操作。

右键

context_click()

在上述操作中

双击

double_click()

drag_and_drop(source,target)拖拽操作嘛，开始位置和结束位置需要被指定，这个常用于滑块类验证码的操作之类。

selenium中的Keys()类提供了大部分的键盘操作方法，通过send_keys()方法来模拟键盘上的按键。

引入Keys类

常见的键盘操作

send_keys(Keys.BACK_SPACE)：删除键(BackSpace)

send_keys(Keys.SPACE)：空格键(Space)

send_keys(Keys.TAB)：制表键(TAB)

send_keys(Keys.ESCAPE)：回退键(ESCAPE)

send_keys(Keys.ENTER)：回车键(ENTER)

send_keys(Keys.CONTRL,'a')：全选(Ctrl+A)

send_keys(Keys.CONTRL,'c')：复制(Ctrl+C)

send_keys(Keys.CONTRL,'x')：剪切(Ctrl+X)

send_keys(Keys.CONTRL,'v')：粘贴(Ctrl+V)

send_keys(Keys.F1)：键盘F1

send_keys(Keys.F12)：键盘F12

实例操作演示：

定位需要操作的元素，然后操作即可！

如果遇到使用ajax加载的网页，页面元素可能不是同时加载出来的，这个时候尝试在get方法执行完成时获取网页源代码可能并非浏览器完全加载完成的页面。所以，这种情况下需要设置延时等待一定时间，确保全部节点都加载出来。

等待有三种方式：强制等待、隐式等待和显式等待

1.强制等待

直接time.sleep(n)强制等待n秒，在执行get方法之后执行。

2.隐式等待

implicitly_wait()设置等待时间，如果到时间有元素节点没有加载出来，就会抛出异常。

3. 显式等待

设置一个等待时间和一个条件，在规定时间内，每隔一段时间查看下条件是否成立，如果成立那么程序就继续执行，否则就抛出一个超时异常。

WebDriverWait的参数说明：

WebDriverWait(driver,timeout,poll_frequency=0.5,ignored_exceptions=None)

driver: 浏览器驱动

timeout: 超时时间，等待的最长时间（同时要考虑隐性等待时间）

poll_frequency: 每次检测的间隔时间，默认是0.5秒

ignored_exceptions:超时后的异常信息，默认情况下抛出NoSuchElementException异常

until(method,message='')

method: 在等待期间，每隔一段时间调用这个传入的方法，直到返回值不是False

message: 如果超时，抛出TimeoutException，将message传入异常

until_not(method,message='')

until_not 与until相反，until是当某元素出现或什么条件成立则继续执行，until_not是当某元素消失或什么条件不成立则继续执行，参数也相同。

其他等待条件

还有一些操作，比如下拉进度条，模拟javaScript，使用execute_script方法来实现。

在selenium使用过程中，还可以很方便对Cookie进行获取、添加与删除等操作。

输出：

selenium中的对输入框文本进行全选，复制，粘贴，剪切和删除的操作

from selenium.webdriver.common.keys import Keys

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.CONTROL,'a')

time.sleep(2)

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.CONTROL,'c')

time.sleep(2)

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.CONTROL,'x')

time.sleep(2)

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.CONTROL,'v')

time.sleep(2)

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.CONTROL,'a')

driver.find_element_by_css_selector('#key-demo').send_keys(Keys.BACKSPACE)

time.sleep(2)

关于selenium复制网页内容和python复制网页文字的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。