使用Python爬取Bangumi动漫数据

前述： -基本流程：网页请求 → 链接解析 → 信息提取 → 保存数据
-Github项目链接：bgm_crawler

1.调用库#

库	作用
`urllib.request`	发送 HTTP 请求
`BeautifulSoup`	解析 HTML
`re`	正则表达式，提取文本
`xlwt`	写入 Excel
`time`	控制请求间隔

2.主要结构#

代码主要分为四部分四个函数。

函数	作用
`main()`	主流程：循环翻页、调用其他函数
`ask_url(url)`	发请求，返回 HTML
`get_data(html)`	从 HTML 提取数据
`save_data(data, filename)`	将数据写入 Excel

2.1 `main()`#

1
def main(start, end):
2
    start = int(input("请输入起始页: "))
3
    end = int(input("请输入结束页: "))
4
    file_name = (input("请输入保存文件名:"))+'.xls'
5
    base_url = 'https://bgm.tv/anime/browser?sort=rank&page=' #网站url前缀
6
    datalist = []
7

8
    for page in range(start-1, end): #页码范围
9
        current_url = f"{base_url}{page + 1}"
10
        html = ask_url(current_url) #调用函数，获取HTML
11
        if html:
12
            datalist.extend(get_data(html)[1:-1]) #调用函数，获取数据
13
        time.sleep(0.5) #爬取频率0.5
14

15
    save_data(datalist, 'workover1.xls') #调用函数，数据保存为xls文件

2.2 `askurl(url)`#

1
def ask_url(url):
2
    #防反爬（网站无需登陆，不需要cookie）
3
    headers = {
4
        'User-Agent': '<填入你的 User-Agent>' #在网站中获取User-Agent填入
5
    }
6
    req = urllib.request.Request(url=url, headers=headers, method='GET') #打包请求信息
7

8
    try:
9
        with urllib.request.urlopen(req) as response: #发送请求
10
            return response.read().decode('utf-8') #获取网站返回，解码
11
    except urllib.error.URLError as e:  #请求失败返回None
12
        return None

2.3 `get_data(html)`#

1
def get_data(html):
2
    soup = BeautifulSoup(html, 'html.parser') #解析HTML
3
    results = []
4

5
    for item in soup.find_all('div', class_="inner"):
6
        item_str = str(item)
7
        entry = [
8
            re.findall(r'<a class="l" href="/subject/.*?">(.*?)</a>', item_str),  # 名字
9
            re.findall(r'</small> <span class="tip_j">\((.*?)\)</span>', item_str),  # 评论数
10
            re.findall(r'<small class="fade">(.*?)</small>', item_str)  # 评分
11
        ] #正则表达获取指定数据
12
        results.append(entry)
13

14
    return results

2.4 `save_data(data_list, filename)`#

1
def save_data(data_list, filename):
2
    book = xlwt.Workbook(encoding='utf-8')
3
    sheet = book.add_sheet('reviews', cell_overwrite_ok=True)
4

5
    # 写入表头
6
    headers = ('名字', '评论数', '评分')
7
    for col, header in enumerate(headers):
8
        sheet.write(0, col, header)
9

10
    # 写入数据
11
    for row, entry in enumerate(data_list, start=1):
12
        for col, value in enumerate(entry):
13
            sheet.write(row, col, value[0] if value else '')  # 取列表第一个元素或空字符串
14

15
    book.save(filename)

3.使用和结果#

3.1 直接调用运行 `main()` 获得结果#

3.2 结果展示#

结果处理：将数据范围规定在评分最低的部分（6.0评分以下），然后将获得的数据依据评论数进行降序，获得“最热门的低分动画排行”。

音乐

1.调用库#

2.主要结构#

2.1 `main()`#

2.2 `askurl(url)`#

2.3 `get_data(html)`#

2.4 `save_data(data_list, filename)`#

3.使用和结果#

3.1 直接调用运行 `main()` 获得结果#

3.2 结果展示#

文章分享

音乐

使用Python爬取Bangumi动漫数据

1.调用库#

2.主要结构#

2.1 main()#

2.2 askurl(url)#

2.3 get_data(html)#

2.4 save_data(data_list, filename)#

3.使用和结果#

3.1 直接调用运行 main() 获得结果#

3.2 结果展示#

文章分享

音乐

2.1 `main()`#

2.2 `askurl(url)`#

2.3 `get_data(html)`#

2.4 `save_data(data_list, filename)`#

3.1 直接调用运行 `main()` 获得结果#