Pysparkを使用してJSONのスキーマを取得する方法

2024-02-21 14:49 PySpark JSON スキーマ

  1. Pysparkをインストールします。PysparkはPythonのライブラリであり、Apache SparkのPython APIを提供します。

  2. Pysparkをインポートします。

from pyspark.sql import SparkSession
  1. SparkSessionを作成します。
spark = SparkSession.builder.appName("SchemaExtractor").getOrCreate()
  1. JSONデータを読み込みます。
data = spark.read.json("path/to/json/file.json")
  1. スキーマを取得します。
schema = data.schema
  1. スキーマを表示します。
schema.printTreeString()

上記のコードを使用すると、Pysparkを使用してJSONデータのスキーマを取得できます。スキーマは、データの構造やフィールドの型に関する情報を提供します。

また、以下のコードを使用すると、スキーマをDataFrameの列名と型のリストとして取得することもできます。

fields = [(field.name, field.dataType) for field in schema.fields]

この方法を使用すると、スキーマの情報を簡単に抽出できます。