Python爬虫实现爬取百度百科词条功能实例

开发 后端
本文实例讲述了Python爬虫实现爬取百度百科词条功能。分享给大家供大家参考,具体如下: 以下我写了一个爬取百度百科词条的实例。

[[421433]]

本文实例讲述了Python爬虫实现爬取百度百科词条功能。分享给大家供大家参考,具体如下:

以下我写了一个爬取百度百科词条的实例。

爬虫主程序入口 

  1. from crawler_test.html_downloader import UrlDownLoader  
  2. from crawler_test.html_outer import HtmlOuter  
  3. from crawler_test.html_parser import HtmlParser  
  4. from crawler_test.url_manager import UrlManager  
  5. # 爬虫主程序入口  
  6. class MainCrawler():  
  7.   def __init__(self):  
  8.     # 初始值,实例化四大处理器:url管理器,下载器,解析器,输出器  
  9.     self.urls = UrlManager()  
  10.     self.downloader = UrlDownLoader()  
  11.     self.parser = HtmlParser()  
  12.     self.outer = HtmlOuter()  
  13.   # 开始爬虫方法  
  14.   def start_craw(self, main_url):  
  15.     print('爬虫开始...')  
  16.     count = 1  
  17.     self.urls.add_new_url(main_url)  
  18.     while self.urls.has_new_url():  
  19.       try:  
  20.         new_url = self.urls.get_new_url() 
  21.         print('爬虫%d,%s' % (count, new_url))  
  22.         html_cont = self.downloader.down_load(new_url)  
  23.         new_urls, new_data = self.parser.parse(new_url, html_cont)  
  24.         # 将解析出的url放入url管理器,解析出的数据放入输出器中  
  25.         self.urls.add_new_urls(new_urls)  
  26.         self.outer.conllect_data(new_data)  
  27.         if count >= 10:# 控制爬取的数量  
  28.           break  
  29.         count += 1  
  30.       except:  
  31.         print('爬虫失败一条') 
  32.     self.outer.output()  
  33.     print('爬虫结束。')  
  34. if __name__ == '__main__':  
  35.   main_url = 'https://baike.baidu.com/item/Python/407313'  
  36.   mc = MainCrawler()  
  37.   mc.start_craw(main_url) 

URL管理器 

  1. # URL管理器  
  2. class UrlManager():  
  3.   def __init__(self):  
  4.     self.new_urls = set() # 待爬取  
  5.     self.old_urls = set() # 已爬取  
  6.   # 添加一个新的url  
  7.   def add_new_url(self, url):  
  8.     if url is None:  
  9.       return  
  10.     elif url not in self.new_urls and url not in self.old_urls:  
  11.       self.new_urls.add(url)  
  12.   # 批量添加url  
  13.   def add_new_urls(self, urls):  
  14.     if urls is None or len(urls) == 0:  
  15.       return  
  16.     else:  
  17.       for url in urls:  
  18.         self.add_new_url(url)  
  19.   # 判断是否有url  
  20.   def has_new_url(self):  
  21.     return len(self.new_urls) != 0  
  22.   # 从待爬取的集合中获取一个url  
  23.   def get_new_url(self):  
  24.     new_url = self.new_urls.pop()  
  25.     self.old_urls.add(new_url)  
  26.     return new_url 

网页下载器 

  1. from urllib import request  
  2. # 网页下载器  
  3. class UrlDownLoader():  
  4.   def down_load(self, url):  
  5.     if url is None:  
  6.       return None  
  7.     else:  
  8.       rt = request.Request(urlurl=url, method='GET')   # 发GET请求  
  9.       with request.urlopen(rt) as rp:         # 打开网页  
  10.         if rp.status != 200:  
  11.           return None  
  12.         else:  
  13.           return rp.read()            # 读取网页内容 

网页解析器 

  1. import re  
  2. from urllib import parse  
  3. from bs4 import BeautifulSoup  
  4. # 网页解析器,使用BeautifulSoup  
  5. class HtmlParser():  
  6.   # 每个词条中,可以有多个超链接  
  7.   # main_url指url公共部分,如“https://baike.baidu.com/”  
  8.   def _get_new_url(self, main_url, soup):  
  9.     # baike.baidu.com/  
  10.     # <a target="_blank" href="/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80" rel="external nofollow" >计算机程序设计语言</a> 
  11.     new_urls = set()  
  12.     # 解析出main_url之后的url部分  
  13.     child_urls = soup.find_all('a', href=re.compile(r'/item/(\%\w{2})+'))  
  14.     for child_url in child_urls:  
  15.       new_url = child_url['href']  
  16.       # 再拼接成完整的url  
  17.       full_url = parse.urljoin(main_url, new_url)  
  18.       new_urls.add(full_url)  
  19.     return new_urls  
  20.   # 每个词条中,只有一个描述内容,解析出数据(词条,内容)  
  21.   def _get_new_data(self, main_url, soup):  
  22.     new_datas = {}  
  23.     new_datas['url'] = main_url  
  24.     # <dd class="lemmaWgt-lemmaTitle-title"><h1>计算机程序设计语言</h1>...  
  25.     new_datas['title'] = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1').get_text()  
  26.     # class="lemma-summary" label-module="lemmaSummary"...  
  27.     new_datas['content'] = soup.find('div', attrs={'label-module': 'lemmaSummary'},  
  28.                      class_='lemma-summary').get_text()  
  29.     return new_datas  
  30.   # 解析出url和数据(词条,内容)  
  31.   def parse(self, main_url, html_cont):  
  32.     if main_url is None or html_cont is None:  
  33.       return  
  34.     soup = BeautifulSoup(html_cont, 'lxml', from_encoding='utf-8' 
  35.     new_url = self._get_new_url(main_url, soup)  
  36.     new_data = self._get_new_data(main_url, soup)  
  37.     return new_url, new_data 

输出处理器 

  1. # 输出器  
  2. class HtmlOuter():  
  3.   def __init__(self):  
  4.     self.datas = []  
  5.   # 先收集数据  
  6.   def conllect_data(self, data):  
  7.     if data is None:  
  8.       return  
  9.     self.datas.append(data)  
  10.     return self.datas  
  11.   # 输出为HTML  
  12.   def output(self, file='output_html.html'):  
  13.     with open(file, 'w', encoding='utf-8') as fh:  
  14.       fh.write('<html>')  
  15.       fh.write('<head>')  
  16.       fh.write('<meta charset="utf-8"></meta>')  
  17.       fh.write('<title>爬虫数据结果</title>')  
  18.       fh.write('</head>')  
  19.       fh.write('<body>')  
  20.       fh.write(  
  21.         '<table style="border-collapse:collapse; border:1px solid gray; width:80%; word-break:break-all; margin:20px auto;">')  
  22.       fh.write('<tr>')  
  23.       fh.write('<th style="border:1px solid black; width:35%;">URL</th>')  
  24.       fh.write('<th style="border:1px solid black; width:15%;">词条</th>')  
  25.       fh.write('<th style="border:1px solid black; width:50%;">内容</th>')  
  26.       fh.write('</tr>')  
  27.       for data in self.datas:  
  28.         fh.write('<tr>')  
  29.         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['url']))  
  30.         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['title']))  
  31.         fh.write('<td style="border:1px solid black">{0}</td>'.format(data['content']))  
  32.         fh.write('</tr>')  
  33.       fh.write('</table>')  
  34.       fh.write('</body>')  
  35.       fh.write('</html>') 

效果(部分):

希望本文所述对大家Python程序设计有所帮助。 

 

责任编辑:庞桂玉 来源: 马哥Linux运维
相关推荐

2017-06-20 10:51:15

芒果

2014-01-07 15:38:28

信息

2010-04-16 13:23:17

百度百科

2013-09-13 10:26:10

糗事百科百度

2014-07-22 10:02:31

桌面云

2011-06-28 17:34:35

外链

2013-12-09 11:23:19

百度联盟糗事百科

2010-05-11 17:48:38

百度百科世博模块

2010-07-07 17:52:04

百度百科

2015-06-23 16:18:26

性能优化

2010-04-23 18:15:29

2017-10-26 14:29:50

互动百科

2017-02-09 17:05:03

2015-04-17 15:23:10

互动百科

2022-12-01 13:10:13

SASE网络

2013-10-30 16:54:46

维基百科维基百科的衰落

2014-07-25 17:12:39

数据库WOT2014MongoDB

2013-08-22 17:08:50

点赞
收藏

51CTO技术栈公众号