DuckDBをS3と設定する方法

2024-02-08 16:59 DuckDB S3 設定

  1. 必要なパッケージのインストール: DuckDBをS3と連携させるためには、duckdb-s3パッケージをインストールする必要があります。以下のコマンドを使用してインストールします:

    pip install duckdb-s3

  2. S3のアクセスキーとシークレットアクセスキーの設定: S3に接続するためには、アクセスキーとシークレットアクセスキーが必要です。これらのキーを取得し、環境変数に設定します。

    export AWS_ACCESS_KEY_ID=<Your_Access_Key_ID>
export AWS_SECRET_ACCESS_KEY=<Your_Secret_Access_Key>

  3. DuckDBの設定ファイルを編集: DuckDBの設定ファイルを編集して、S3ストレージに接続するための設定を追加します。設定ファイルは通常、~/.duckdb/duckdb.confにあります。

    [s3]
access_key_id = <Your_Access_Key_ID>
secret_access_key = <Your_Secret_Access_Key>

  4. DuckDBでS3を使用する: DuckDBを起動し、S3を使用するためには、以下のように接続文字列を指定します:

    duckdb:///database_name?s3=true&s3_bucket=<Your_S3_Bucket>&s3_prefix=<Your_S3_Prefix>

    database_nameは新しいデータベースの名前です。Your_S3_BucketはS3のバケット名、Your_S3_Prefixはオプションのプレフィックスです。

    これで、DuckDBはS3ストレージと連携してデータを読み書きすることができます。