第三步：提取你需要的数据

现在我们知道如何找到所有的书籍了,下一步是从每一本书的信息中提取出书名和价格。

观察一下 http://books.toscrape.com/ 的结构，你会发现每本书都在一个 <article class="product_pod"> 里。

• 书名在 <h3> 标签下的 <a> 标签的 title 属性里。
• 价格在 <p class="price_color"> 标签里。

让我们更新代码：

# scraper.py (最终版)
import requests
from bs4 import BeautifulSoup
url = 'http://books.toscrape.com/'
try:
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    books = soup.find_all('article', class_='product_pod')
    print(f"正在处理 {len(books)} 本书...")
    for book in books:
        # 提取书名
        # 找到 h3 标签，再找到其下的 a 标签，然后获取 'title' 属性
        title = book.h3.a['title']
        # 提取价格
        # 找到 class_='price_color' 的 p 标签，然后获取其文本内容
        price = book.find('p', class_='price_color').text
        print(f"书名: {title}")
        print(f"价格: {price}")
        print("-" * 30) # 打印一个分隔线
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

运行代码： 现在你会看到，程序逐行打印出每本书的书名和价格，这就是爬虫的核心逻辑！

第四步：存储数据（保存到文件）

打印在屏幕上数据会消失,我们通常需要将数据保存下来，比如保存到一个 CSV 文件中，这样可以用 Excel 打开。

我们需要一个新库：csv，这个库是 Python 自带的，不需要额外安装。

# scraper.py (存储数据版)
import requests
from bs4 import BeautifulSoup
import csv # 导入 csv 库
url = 'http://books.toscrape.com/'
# 准备一个列表来存储所有书籍信息
all_books_data = []
try:
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    books = soup.find_all('article', class_='product_pod')
    for book in books:
        title = book.h3.a['title']
        price = book.find('p', class_='price_color').text
        # 将每本书的信息作为一个字典存入列表
        all_books_data.append({
            'title': title,
            'price': price
        })
    # 将数据写入 CSV 文件
    # newline='' 是为了防止在 Windows 系统下写入时出现空行
    with open('books.csv', 'w', newline='', encoding='utf-8') as f:
        # 定义 CSV 文件的列名
        fieldnames = ['title', 'price']
        writer = csv.DictWriter(f, fieldnames=fieldnames)
        # 写入表头
        writer.writeheader()
        # 写入数据
        writer.writerows(all_books_data)
    print("数据已成功保存到 books.csv 文件中！")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

运行代码后： 你会发现在你的代码目录下多了一个 books.csv 文件，用 Excel 打开它，你会看到整齐的书名和价格数据。

完整代码示例：抓取“名言网”

让我们用学到的知识,抓取一个简单的网站：http://quotes.toscrape.com/ (一个专门练习爬取名言的网站)。

目标：获取页面上所有的名言和其作者。

# quotes_scraper.py
import requests
from bs4 import BeautifulSoup
url = 'http://quotes.toscrape.com/'
all_quotes = []
try:
    # 1. 发送请求
    response = requests.get(url)
    response.raise_for_status()
    # 2. 解析内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 3. 查找所有名言容器
    quotes = soup.find_all('div', class_='quote')
    # 4. 遍历并提取数据
    for quote in quotes:
        # 提取名言文本
        text = quote.find('span', class_='text').text
        # 提取作者
        author = quote.find('small', class_='author').text
        all_quotes.append({'text': text, 'author': author})
    # 5. 打印结果
    for q in all_quotes:
        print(f'"{q["text"]}" - {q["author"]}')
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

爬虫进阶与注意事项

恭喜你,你已经掌握了爬虫的基础！但真实世界更复杂，下面是一些重要的进阶知识和注意事项：

• 反爬机制：

  • User-Agent (用户代理)：很多网站会检查请求的来源，我们可以伪装成浏览器。

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
    response = requests.get(url, headers=headers)

  • IP 封禁：如果你在短时间内发送大量请求，你的 IP 可能会被封禁，解决方案是使用代理 IP。
  • 验证码：网站可能会弹出验证码，让你证明自己是人类，处理验证码比较复杂，有时需要借助第三方服务。

• 动态网页：

  • 有些网站内容是通过 JavaScript 动态加载的，requests 只能获取到初始的 HTML，看不到动态加载的内容，这时你需要使用更强大的工具，如 Selenium 或 Playwright，它们可以模拟一个真实的浏览器。

• 遵守 robots.txt：

  • 在访问一个网站前,最好先看看它的 robots.txt 文件（https://www.example.com/robots.txt），这个文件规定了哪些页面可以爬，哪些不可以，尊重规则是爬虫工程师的基本素养。

• 数据存储：

  • 除了 CSV，你还可以将数据保存到 JSON 文件，或者存入 数据库（如 SQLite, MySQL, MongoDB）中。

总结与学习资源

一个简单的爬虫流程就是：

1. 明确目标：你想抓取哪个网站，什么数据？
2. 分析网页：用浏览器开发者工具 (F12) 查看目标数据的 HTML 结构。
3. 发送请求：使用 requests 库获取网页内容。
4. ：使用 BeautifulSoup 库解析 HTML，定位到数据所在的标签。
5. 提取数据：从定位到的标签中，提取出你想要的文本或属性。
6. 存储数据：将提取的数据保存到文件或数据库中。

继续学习的资源：

• 官方文档：
  • Requests 文档
  • Beautiful Soup 文档
• 练习网站：
  • Scrapinghub: 提供很多练习项目。
  • ToScrape: 我们刚才用过的网站。
• 进阶库：
  • Selenium: 用于处理动态网页。
  • Scrapy: 一个功能强大的爬虫框架，适合构建大型、复杂的爬虫项目。
  • pandas: 用于数据处理和分析，可以轻松地将数据导入 DataFrame。

爬虫的世界非常广阔,充满了挑战和乐趣，从今天开始，动手去探索吧！遇到问题多搜索，多实践，你很快就能成为爬虫高手。