用Python爬取天气并且语言播报

开发 后端
爬虫是爬取网页的相关内容,了解HTML能够帮助你更好的理解网页的结构、内容等。 TCP/IP协议,HTTP协议这些知识了解一下就可以,能够让你了解在网络请求和网络传输上的基本原理,这次的小案例用不到。

一、 预备知识

此案例实现功能:利用网络爬虫,爬取某地的天气,并打印和语音播报 。 要用到requests库,lxml库,pyttsx3库,没有的,可以先安装一下,都可以通过pip安装:

 

  1. pip install requests 
  2. pip install lxml 
  3. pip install pyttsx3 

Requests库是个功能很强大的网络请求库,可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。

Lxml库是处理XML和HTML功能最丰富,最易于使用的库,通常用lxml库中的etree使HTML转化为文档。

Pyttsx3库是一个很简单的播放语音的库,你给它什么,它就读什么,当然别在意生硬的语气。 基本用法如下:

 

  1. import pyttsx3 
  2.  
  3. word = pyttsx3.init() 
  4. ​ 
  5. word.say('你好'
  6. # 关键一句,没有这行代码,不会播放语音 
  7. word.runAndWait() 

码字不易废话两句:有需要学习资料的或者有技术问题交流可以私信小编发送“01”即可

爬虫是爬取网页的相关内容,了解HTML能够帮助你更好的理解网页的结构、内容等。 TCP/IP协议,HTTP协议这些知识了解一下就可以,能够让你了解在网络请求和网络传输上的基本原理,这次的小案例用不到。

二、 详细说一说

2.1. get请求目标网址

我们首先导入requests库,然后就用它来获取目标的网页,我们请求的是天气网站中的北京天气。

 

  1. import requests 
  2. # 向目标url地址发送请求,返回一个response对象 
  3. req = requests.get('https://www.tianqi.com/beijing/'
  4. # .text是response对象的网页html 
  5. print(req.text) 

打印出的结果就是网站上显示的内容,浏览器就是通过这些内容“解析”出来我们看到的结构如下:

 

用python爬取天气并且语言播报

我们请求后的获得的数据

 

用python爬取天气并且语言播报

注意啦,小伙伴们有很大可能运行之后得不到网页代码,而是显示403,这是什么意思呢?

403错误是一种在网站访问过程中,常见的错误提示,表示资源不可用。服务器理解客户的请求,但拒绝处理它。

我们写的爬虫一般会默认告诉服务器,自己发送一个Python爬取请求,而很多的网站都会设置反爬虫的机制,不允许被爬虫访问的。

所以,我们想让目标服务器响应,那就把我们的爬虫进行一下伪装。此小案例就用常用的更改User-Agent字段进行伪装。

改一下之前的代码,将爬虫伪装成浏览器请求,这样就可以进行正常的访问了。

 

  1. import requests 
  2. ​ 
  3. headers = {'content-type':'application/json''User-Agent':'Mozilla/5.0 (Xll; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'
  4. ​ 
  5. # 向目标url地址发送请求,返回一个response对象 
  6. req = requests.get('https://www.tianqi.com/beijing/',headers=headers) 
  7. # .text是response对象的网页html 
  8. print(req.text) 

User-Agent字段怎么来的呢?我们以Chrome浏览器为例子,先随便打开一个网页,按键盘的F12或在空白处点击鼠标右键选择“检查”;然后刷新网页,点击“Network”再点击“Doc”,点击Headers,在信息栏查看Request Headers的User-Agent字段,直接复制,咱们就可以用啦。

2.2. lxml.etree登场

我们从网页请求获得的数据繁杂,其中只有一部分是我们真正想得到的数据,例如我们从天气的网站中查看北京的天气,只有下图中使我们想要得到的,我们如如何提取呢?这就要用到lxml.etree。

 

用python爬取天气并且语言播报

整个代码中只有一小部分我们想要的信息,我们发现想要的天气、温度啊都在“class='weather_info'”这一层级下,那这就好办了。我们在请求的代码的后面加上:

 

  1. html_obj = etree.HTML(html) 
  2. html_data = html_obj.xpath("//d1[@class='weather_info']//text()"

我们print(html_data)一下看看提取是不是我们想要的数据。

 

用python爬取天气并且语言播报

发现连网页中换行符啊什么的也都提取出来了,还有,别忘了,提取出来的是列表哦。我们还要做一下处理。

 

  1. word = "欢迎使用天气播报助手" 
  2. ​ 
  3. for data in html_data: 
  4.     word += data 

处理完我们打印一下看看,嗯,我们想要的都有了。不过还多了一个[切换城市],我们精益求精,最后把这个最后再去掉。

 

用python爬取天气并且语言播报

2.3. 把结果说出来

我们想要的数据都在word变量里啦,现在就让他读出来,用pyttsx3这个库,

 

  1. ptt = pyttsx3.init() 
  2. ptt.say(word) 
  3. ptt.runAndWait() 

好的,现在都已完成。 我们一步一步都摸索过来,现在整合在一起,最后播放效果还是不错的,这是一次很美好的爬虫之旅,期待下次爬取!

责任编辑:未丽燕 来源: 今日头条
相关推荐

2022-06-15 08:25:07

Python天气数据可视化分析

2019-01-02 12:23:30

Python金融数据爬取

2012-11-26 14:49:15

天气通二维码

2021-06-02 22:18:11

Python关键词微博

2016-12-07 11:18:58

Python爬虫网站

2021-06-02 15:10:20

PythonScrapy视频

2017-05-24 15:07:19

Python爬虫爬取

2022-07-12 09:55:34

Selenium爬取数据

2021-05-08 08:04:05

Python爬取素材

2021-01-24 16:40:00

Python爬取网站编程语言

2019-01-11 10:22:31

Python数据爬取

2018-01-04 09:20:55

python爬虫视频弹幕

2020-12-02 09:42:42

PythonApp抖音视频

2018-05-03 18:19:18

python爬虫微信好友

2018-01-09 14:19:14

PythonAndroid爬虫

2020-11-02 10:01:00

Python编程语言数据

2021-03-18 09:18:12

python爬虫

2021-02-17 09:23:31

Python百度搜索

2018-08-28 12:43:20

Python大数据数据清洗

2020-08-06 08:43:49

Python爬虫数据
点赞
收藏

51CTO技术栈公众号