Puppeteer Proxyを使用したウェブスクレイピングの基本ガイド

まず、Puppeteerをインストールします。以下のコマンドを使用して、Node.jsのプロジェクトにPuppeteerを追加します。

npm install puppeteer

次に、Puppeteerを使用してウェブページにアクセスする方法を紹介します。以下のコードを使用すると、単純な例としてGoogleのトップページにアクセスし、スクリーンショットを保存することができます。

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // プロキシ設定
  const proxy = 'your-proxy-address:port';
  await page.authenticate({ username: 'your-username', password: 'your-password' });

  await page.goto('https://www.google.com');
  await page.screenshot({ path: 'screenshot.png' });

  await browser.close();
})();

上記のコードでは、your-proxy-address:portには実際のプロキシアドレスとポートを指定します。また、your-usernameとyour-passwordにはプロキシの認証情報を入力します。

この例では、Puppeteerを使用してプロキシ経由でGoogleのトップページにアクセスし、スクリーンショットを保存しています。必要に応じてこのコードを変更して、さまざまなウェブサイトからデータをスクレイピングすることができます。

以上がPuppeteer Proxyを使用したウェブスクレイピングの基本的なガイドです。この方法を使えば、プロキシを介してウェブサイトにアクセスすることができ、さまざまなデータを収集することができます。ぜひ試してみてください！