一個實用的Python Web抓取教程

31次閱讀

本指南將引導您從頭開始構建Python網路爬蟲。我們將涵蓋從初始設定和對scraper本身進行編碼到集成代理以進行可靠數據收集的所有內容。您將使用幾個强大的庫，Requests和BeautifulSoup，它們使整個過程出乎意料地簡單。

為什麼Python是Web抓取的首選？

當涉及到從網絡中選取數據時，你選擇的程式設計語言真的很重要。 Python不僅僅是一個受歡迎的選擇；這是占主導地位的，有幾個很好的理由。這與其說是關於語法，不如說是關於圍繞它構建的令人難以置信的强大生態系統。

最大的勝利？ Python的專用庫。你根本不必從頭開始構建一切。

您的核心抓取工具包

在擷取網頁方面，Requests 函式庫無疑是當之無愧的王者。它將繁雜的 HTTP 請求發送過程，精煉成一行簡潔優雅的程式碼。需要傳送標頭或管理 Cookie 嗎？完全不是問題。

當你取得原始 HTML 內容後，下一步就是使用 BeautifulSoup。它擅長解析即使是最混亂的 HTML 程式碼，並將其轉換成清晰易讀的結構化文件。如此一來，要精準定位所需的資料簡直易如反掌。

這兩款工具相輔相成，形成一套組合拳，完美處理了資料擷取的繁重工作。精通Python網路爬蟲技術最關鍵的優勢在於，它能賦予您強大的自動化能力，將您從耗時費力的重複性資料輸入工作中解放出來。

關鍵洞察：Python的真正優勢不僅在於簡潔的語法，更在於其成熟的函式庫生態系。像Requests和BeautifulSoup這樣的工具承擔了所有繁重工作，讓您能專注於資料本身，而非重複性的程式碼框架。

在我們開始深入程式碼之前，先來快速瞭解即將使用到的工具。您可以將這個視為專案的工具箱——每個組件都肩負著特定的任務。

你的Python Web抓取工具包

工具或庫	基本目的	為什麼它是必不可少的
Python	核心程式設計語言	簡單的語法、龐大的社區和豐富的庫生態系統使其非常適合初學者和專家。
請求	獲取網頁內容（HTML）	簡化了發送HTTP/1.1請求，使從URL獲取原始數據變得非常容易。
BeautifulSoup	解析和導航HTML/XML	將雜亂的HTML原始程式碼轉換為結構化、可蒐索的對象，以便您可以輕鬆找到和選取所需的數據。
IPFLY 代理	繞過IP塊和速率限制	對於可靠、大規模的刮擦至關重要。代理可以防止您的抓取器被網站封锁。

有了這個工具箱，您將擁有打造強大且可擴展的網路爬蟲所需的一切資源。

這項技術的應用範圍極其廣泛，更能驅動關鍵的商業決策。試想：您可以建立自動化腳本追蹤亞馬遜上競爭對手的價格波動，即時調整自身定價策略；或是從多個平台自動抓取數千筆客戶評論，精準掌握市場輿情動向——這一切都能在無需人工干預的情況下完成。

這絕非某種小眾技術能力，而是現代商業智慧的核心組成。全球網路爬蟲市場已爆發式成長為價值數十億美元的產業，且增長勢頭未見減緩。預測數據顯示，該市場規模將從2025年的10.3億美元躍升至2030年的20億美元——如此驚人的增長幅度，正印證了這項技術在當代的重要價值。若想深入瞭解，您可以在thunderbit.com上探索更多關於網路爬蟲產業的基準指標分析。

設定您的爬蟲環境

每個出色的網路爬蟲專案，都始於一個穩固且有條理的環境設定。在開始撰寫任何一行程式碼之前，正確配置開發環境是個簡單卻能讓您後續省去無數麻煩的步驟。相信我，事後要解決套件版本衝突的問題絕對不是件愉快的事。

首先，讓我們確認您是否已安裝 Python。如果您使用的是 macOS 或 Linux 系統，很可能已經預先安裝了。您只需要打開終端機或命令提示字元，輸入以下指令快速確認：

python3 --version

如果畫面上顯示出版本號碼（例如 Python 3.9.6），那就表示沒問題。若未顯示，請直接前往 Python 官方網站下載最新版本。給 Windows 使用者的一個小提醒：在安裝過程中，請務必勾選「將 Python 加入 PATH」的選項，這會讓您在系統任何位置執行指令都更加方便。

建立虛擬環境

確認Python安裝完成後，下一步就是建立虛擬環境。您可以將其視為專為專案打造的獨立沙箱——這不僅是建議，更是所有嚴謹Python網頁爬蟲教學中強調的關鍵準則。它能隔離專案所需的函式庫，徹底避免與您電腦上其他專案發生衝突。

請在終端機中切換至專案目錄，執行以下指令：

python3 -m venv scraping-env

此時會建立名為scraping-env的新資料夾。要啟動這個獨立環境，需執行激活指令（根據作業系統有所不同）：

macOS/Linux系統請輸入：source scraping-env/bin/activate
Windows系統請輸入：scraping-envScriptsactivate

當您看到指令行前方出現(scraping-env)標記時，即代表虛擬環境已成功啟動。

安裝基本庫

好的，當虛擬環境啟動後，接下來就是安裝核心工具的時候了。我們將使用 Python 可靠的套件管理工具 pip，來安裝兩個關鍵套件：用於抓取網頁的 requests，以及用於解析 HTML 的 beautifulsoup4。

請在已啟動的虛擬環境終端機中執行這行指令：

pip install requests beautifulsoup4

這兩個函式庫是多數網路爬蟲的基礎核心。requests 負責與網站伺服器進行溝通，處理所有繁重的傳輸工作；而 BeautifulSoup 則讓您能輕鬆解析 HTML 結構，精準提取目標資料。

當您從簡單爬蟲擴展到更複雜的專案時，通常需要將代理伺服器（proxies）納入工具清單。這對大規模資料抓取至關重要，能有效避免遭到網站封鎖。

如何構建你的第一個網路爬蟲

好的，環境準備就緒後，現在來到最有趣的部分——實際撰寫程式碼。我們將打造一個簡單卻高效的爬蟲程式，從一個練習用網站抓取商品資訊。這正是理論付諸實踐的時刻，您將親身體驗到開始收集資料的速度有多快。

我們這次的目標網站是Books to Scrape，這是專為爬蟲練習打造的沙箱環境。由於網站結構清晰可預測，且在我們初學階段不會觸發任何反爬蟲機制，可說是絕佳的練習場地。

仔細觀察網站佈局：每本書籍都以整齊的卡片形式呈現，清楚標示書名、價格和評分等級。

這種網格格式正是爬蟲開發者的理想結構。這意味著每個書籍項目的底層HTML結構很可能完全一致，讓我們能輕鬆透過循環系統化地抓取目標資料。

使用 Requests 擷取網頁內容

首先，我們需要從網站獲取原始 HTML。這正是 requests 函式庫的拿手好戲。它能將發送 HTTP GET 請求並接收回應的流程，精簡成單行程式碼。

現在我們建立一個新的 Python 檔案（可命名為 scraper.py），並寫入以下程式碼：

import requests

URL = "https://books.toscrape.com/"
response = requests.get(URL)

print(response.status_code)

這段簡短的程式碼會向目標 URL 發出請求，並檢查伺服器的回應狀態。當您執行它時，終端機上應該會顯示「200」——這是 HTTP 請求成功的通用狀態碼，代表我們已經順利連線。

專業提醒：在進行任何後續操作前，務必先檢查狀態碼。若收到 404（找不到頁面）或 503（服務不可用）等錯誤代碼，代表根本沒有可解析的 HTML 內容。這個簡單的檢查動作，正是打造穩定爬蟲程式的第一道防線。

使用 BeautifulSoup 解析 HTML

現在我們取得了 HTML 內容，但它目前只是雜亂的連續文字字串。為了有效解析內容，我們需要將其轉換為可讀的結構化物件。這時就該 BeautifulSoup 登場了。

讓我們更新腳本來加入這個功能：

import requests
from bs4 import BeautifulSoup

URL = "https://books.toscrape.com/"
response = requests.get(URL)
soup = BeautifulSoup(response.content, 'html.parser')

print(soup.title.text)

在這段程式中，我們將原始 HTML（response.content）和解析器（’html.parser’）傳入 BeautifulSoup 的建構函式。產生的 soup 物件會將整個網頁轉換成結構化的巢狀資料。執行後您將會看到網頁標題：「All products | Books to Scrape – A sandbox for web scraping」。

識別正確的資料標籤

接下來是網頁爬蟲最核心的環節：找出承載目標資料的特定 HTML 元素。這就像偵探工作般，需要我們仔細檢視網頁的原始程式碼來尋找線索。

開啟開發者工具：在瀏覽器中前往目標網站，對任一本書的標題點擊右鍵，選擇「檢查元素」。
定位元素：瀏覽器的開發者工具會隨即開啟，並自動反白顯示該標題的對應 HTML 程式碼。您會發現書名被包裹在 <h3> 內的 <a> 標籤中，而整個書籍卡片則是一個帶有 product_pod 類別的 <article> 元素。
尋找價格資訊：對價格執行相同操作。快速檢查後可發現價格存放在具有 price_color 類別的 <p> 標籤內。

這個檢查過程至關重要，您等於是在為爬蟲程式繪製一張精準的尋寶地圖。

擷取書名與價格

有了這份尋寶圖，我們現在可以明確指示 BeautifulSoup 尋找目標元素。透過 find_all() 方法抓取所有書籍容器後，再用循環逐個提取書名與價格資訊。

請將最後這段程式碼加入腳本：

# ... (previous code) ...
import requests
from bs4 import BeautifulSoup

URL = "https://books.toscrape.com/"
response = requests.get(URL)
soup = BeautifulSoup(response.content, 'html.parser')

# Find all book containers
books = soup.find_all('article', class_='product_pod')

for book in books:
    # Find the title within each book container
    title = book.h3.a['title']

    # Find the price
    price = book.find('p', class_='price_color').text

    print(f"Title: {title}, Price: {price}")

這段程式碼會遍歷每個找到的 <article class="product_pod"> 元素，逐一從其中的 <h3> 層級定位到 <a> 標籤，並提取其 title 屬性值；接著再尋找 <p class="price_color"> 元素擷取文字內容。

轉眼間，您已經成功建構出一個可運作的網頁爬蟲。其實沒有想像中困難，對吧？

因應常見的爬蟲挑戰

您的第一個爬蟲程式已成功運行，在處理簡單的靜態網站時表現完美。但現實中的網路環境複雜得多——您很快就會發現，許多網站並不會輕易交出資料。

這些挑戰並非無法克服，而是爬蟲領域的常態。能否突破這些限制，正是區分業餘與專業開發者的關鍵——專業者懂得如何從各種複雜環境中穩定提取資料。現在就讓我們剖析最常見的障礙及因應對策：

處理動態 JavaScript 內容

您首先會遭遇的主要障礙就是動態內容。許多現代網站會透過 JavaScript 在主要 HTML 載入後才動態加載資料。當您的 requests 腳本抓取頁面時，只能取得初始原始碼，而您真正需要的關鍵資料可能根本還沒載入。

實用檢測法：請前往商品頁面，查看原始碼（右鍵 > 查看網頁原始碼）。接著比較開發者工具「檢查」面板中看到的 HTML。如果商品價格或評論在「檢查」視窗中可見，卻在「查看原始碼」的內容中消失，這就確認了資料是由 JavaScript 動態載入的。這意味著僅靠 requests 將無法取得資料，您需要改用 Selenium 或 Playwright 這類工具。

關鍵結論：當瀏覽器「查看原始碼」顯示的內容與實際頁面顯示的資料不一致時，就代表您正面對 JavaScript 動態載入的問題。此時基礎的 HTTP requests 已不再適用——該是升級使用瀏覽器自動化工具的時候了。

處理多頁面分頁機制

很少有網站會將所有資料塞進單一頁面。試想電子商務平台、部落格或搜尋結果，幾乎都採用分頁機制來分散內容。若想獲取完整資料集，您的爬蟲程式必須懂得如何點擊「下一頁」。

關鍵在於找出網址的規律性。請仔細觀察分頁數字或「下一頁」按鈕的連結結構，通常會發現類似 ?page=2、?p=3 這類參數，或是某種偏移量標記。一旦破解這個規則，就能輕鬆建構每個頁面的網址並進行循環抓取。

以下提供處理分頁的簡易策略：

尋找規律：進入網站第二頁觀察網址列，若出現 .../products?page=2 這類結構，就是分頁規則的關鍵。
建立循環：在 Python 中建立 for 迴圈。以 Books to Scrape 為例，第二頁網址為 catalogue/page-2.html，可建立如下迴圈： for i in range(1, 51):url = f”https://books.toscrape.com/catalogue/page-{i}.html”
迴圈必須設定終止條件。您的爬蟲程式應該檢查頁面是否包含預期資料，若發現沒有產品資訊就停止嘗試載入新頁面。這種機制遠比單純尋找「下一頁」按鈕來得可靠。

實施道德延遲和錯誤處理

爬取速度過快是導致 IP 地址遭封鎖的最常見原因。若在短時間內發送大量請求，這種行為與其說像正常用戶，不如說更接近 DDoS 攻擊。聰明的作法是放慢爬取節奏，模擬人類瀏覽行為。

最簡單的實現方式是使用 Python 的 time.sleep() 函數。只需在請求間隔加入數秒暫停，就能產生顯著差異。

可操作示例：

import time
import requests

for page_num in range(1, 11):
    url = f"https://example.com/products?page={page_num}"
    response = requests.get(url)
    # ... process the data ...
    print(f"Scraped page {page_num}. Waiting for 3 seconds...")
    time.sleep(3) # Pauses the script for 3 seconds

此外，您必須預設情況可能出錯。並非每個請求都能成功——伺服器可能故障、頁面可能搬移，或是觸發流量限制。您的程式碼需要能處理常見的 HTTP 錯誤而不會崩潰。將這些檢查機制內建到爬蟲程式中，將大幅提升其穩健性。

使用代理伺服器擴展爬蟲規模

當您從少量頁面爬取進階到大規模資料收集時，將會面臨網頁爬蟲最常見的障礙：IP封鎖。

網站隨時都在偵測機器人活動。當您在短時間內從單一IP位址發送數百甚至數千個請求時，無疑是在對網站發出警示信號。這正是為什麼代理伺服器（proxies）已成為專業爬蟲工具中不可或缺的關鍵元件。

您可以將代理伺服器視為中間橋樑：您的爬蟲將請求發送至代理伺服器，再由代理轉發至目標網站。如此一來，網站只會記錄到代理伺服器的IP位址，從而有效隱藏爬蟲的真實來源。

為什麼代理對於可靠的報廢至關重要

若試圖從單一IP位址執行大規模爬取任務，就像一分鐘內連續敲擊同一扇門上千次——遲早會被徹底封鎖。網站通常會透過流量限制與IP封鎖機制來保護伺服器並抵禦爬蟲程式，而優質的代理服務正是突破此困境的關鍵利器。

代理服務能提供龐大的IP位址池，讓您的爬蟲程式隨每個請求自動輪換IP。這個簡單的轉變能使您的活動更貼近真人操作模式，大幅降低被偵測與封鎖的風險。對於電子商務價格監控或大規模資料收集這類要求持續運作與穩定性的專案而言，代理服務的導入絕對是改變戰局的關鍵要素。

為維持專案順暢運作，您需要根據需求尋找合適的住宅代理方案。高品質的服務能提供龐大的IP網絡，這對維持不間斷的資料擷取至關重要。

多數專業代理服務會提供管理後台，讓您清晰掌握運作狀況。

這類管理介面就像您的指揮中心，讓您能即時監控資料用量、針對不同爬蟲任務配置代理設定，並集中管理整個IP資源池。

Python Requests 的實戰代理整合

好消息是：將代理伺服器整合到 Python 腳本中非常簡單，特別是使用 requests 函式庫時。它內建了支援功能，只需幾行程式碼就能設定代理資訊。

讓我們透過一個簡單範例來說明（假設您已從像 IPFLY 這樣的供應商取得代理憑證）：

import requests

# The target URL you want to scrape
target_url = "https://books.toscrape.com/"

# Your proxy credentials and address
proxy_user = 'YOUR_USERNAME'
proxy_pass = 'YOUR_PASSWORD'
proxy_host = 'proxy.ipfly.net'
proxy_port = '7777'

# Format the proxy URL for requests
proxy_url = f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"

proxies = {
   "http": proxy_url,
   "https": proxy_url,
}

try:
    response = requests.get(target_url, proxies=proxies)
    print(f"Status Code: {response.status_code}")
    # You can now parse response.content with BeautifulSoup
except requests.exceptions.RequestException as e:
    print(f"An error occurred: {e}")

重要須知：使用代理時務必將 requests 呼叫包裹在 try…except 區塊中。連線失敗可能由多種因素導致——代理伺服器暫時離線或連線超時皆屬常見。完善的錯誤處理能防止單一請求失敗就導致整個腳本崩潰。

成功設定代理只是起步階段。據市場研究數據顯示，網路爬蟲市場正呈現爆發性成長，預計將從2024年的62.3億美元飆升至2035年的461億美元。這種驚人增長主要受AI與機器學習模型訓練對巨量資料集的迫切需求所驅動，使得可擴展且穩定的爬蟲技術變得前所未有的重要。您可透過市場研究機構的公開報告進一步瞭解AI對網路爬蟲領域的具體影響。