1. HTTP 和 HTML 基础
- 了解 HTTP 协议和 HTML 语言，理解网页的基本结构和请求过程。
2. Beautiful Soup 和 Requests 库
- 学习使用 Beautiful Soup 解析 HTML，以及使用 Requests 库发送 HTTP 请
求。
```python
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
```
3. XPath 和 CSS 选择器
- 理解 XPath 和 CSS 选择器，用于定位和提取网页中的元素。
```python
使用 XPath
title = soup.xpath('//h1/text()')
使用 CSS 选择器
paragraphs = soup.select('p')
```
4. 正则表达式
- 掌握正则表达式，用于在文本中匹配和提取特定模式的数据。
```python
import re
pattern = re.compile(r'\d{3}-\d{2}-\d{4}')
match = pattern.search(text)
```
5. 存储和处理数据
- 学习将爬取到的数据存储到文件或数据库，并进行基本的数据处理。
```python
存储到文件
with open('data.txt', 'w') as file:
file.write(data)
存储到数据库
import sqlite3
conn = sqlite3.connect('database.db')
cursor = conn.cursor()
cursor.execute('INSERT INTO table_name (column1, column2) VALUES (?, ?)',
(value1, value2))
conn.commit()
```
爬虫实例
1. 简单网页爬取
- 编写爬虫，爬取一个简单网页的标题和内容。