- Google検索結果のページを取得します。これには、Pythonのrequestsライブラリを使用してHTTPリクエストを送信することができます。以下は、URLを指定してGoogle検索結果のページを取得する例です。
import requests
url = "https://www.google.com/search?q=キーワード"
response = requests.get(url)
html_content = response.text
- タイトルの抽出には、Beautiful SoupというHTMLパーサーライブラリを使用します。以下は、Beautiful Soupを使ってGoogle検索結果のタイトルを抽出する例です。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, "html.parser")
title_element = soup.find("title")
title = title_element.get_text()
- タグの抽出には、同様にBeautiful Soupを使用します。Google検索結果のページのソースコードを調べ、特定の要素やクラス名を持つタグを見つけることができます。以下は、特定のクラス名を持つタグを抽出する例です。
tags = soup.find_all(class_="tag-class")
tag_list = [tag.get_text() for tag in tags]