爬取小说(步骤四)python

综合编程 简书

假设各位老哥已经安装好了bs4 requests这些库了

这个小说是随便挑的,各位也就不用太介意(仅供各位学习)

python3 实现,网上用python2做爬虫的太多了,但用python3的还是比较少

虽说步骤四 是脱胎于之前的三个步骤,但确实为了更进一步而做的一点小突破

这步骤四中,将会爬取小说对对应的目录链接。

  • 获取整部小说的章节数目
  • 通过目录来进行判断,将那些跟小说无关的章节 筛选掉

现在有点晚了,先发一个获取到的目录代码,后续明早在后面补充。有兴趣的朋友可以点 ‘喜欢’ 这样就可以保存文章链接在之后的喜欢栏中接着看了。(我蛮喜欢这样做的hihi)

代码 版本一效果图

  • 代码 版本一
import requests
from bs4 import BeautifulSoup
content_url = "http://www.biquge.com.tw/4_4038/"
kv = {'user_agent': 'Mozilla/5.0'}  # 表示是一个浏览器
try:
    r = requests.get(content_url, headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.encoding)
    soup = BeautifulSoup(r.text, 'html.parser')
    content_list = soup.find(id='list')
    chapter_list = soup.find_all('dd')
    for chapter in chapter_list:
        print(chapter.find('a').text)
except:
    pass
简书稿源:简书 (源链) | 关于 | 阅读提示

本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 综合编程 » 爬取小说(步骤四)python

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录