Pythonを使用してウェブサイトのHTMLを取得する方法


  1. Requestsモジュールを使用する方法:

    import requests
    url = "https://example.com"  # 取得したいウェブサイトのURLを指定する
    response = requests.get(url)
    html_content = response.text
    print(html_content)
  2. urllibモジュールを使用する方法:

    import urllib.request
    url = "https://example.com"  # 取得したいウェブサイトのURLを指定する
    with urllib.request.urlopen(url) as response:
    html_content = response.read().decode('utf-8')
    print(html_content)
  3. BeautifulSoupライブラリを使用する方法:

    import requests
    from bs4 import BeautifulSoup
    url = "https://example.com"  # 取得したいウェブサイトのURLを指定する
    response = requests.get(url)
    html_content = response.text
    soup = BeautifulSoup(html_content, 'html.parser')
    print(soup.prettify())