Coursera Spark SQLで最大カウントを取得する方法

単純なカウントの取得: 最初に、データセット内の特定のカラムの最大カウントを取得する基本的な方法を紹介します。以下のコードを使用します。

import org.apache.spark.sql.functions._
val df = spark.read.format("csv").option("header", "true").load("data.csv")
val maxCount = df.groupBy("column_name").count().agg(max("count")).head().getLong(0)
println("最大カウント: " + maxCount)

条件付きの最大カウントの取得: 特定の条件に基づいて最大カウントを取得する方法もあります。以下のコード例では、"column_name"が特定の値に等しい場合の最大カウントを取得します。

val condition = col("column_name") === "特定の値"
val maxCount = df.filter(condition).groupBy("column_name").count().agg(max("count")).head().getLong(0)
println("特定の条件に基づく最大カウント: " + maxCount)

複数のカラムでの最大カウントの取得: 複数のカラムを組み合わせて最大カウントを取得する方法もあります。以下のコード例では、2つのカラムを組み合わせて最大カウントを取得します。

val maxCount = df.groupBy("column_name1", "column_name2").count().agg(max("count")).head().getLong(0)
println("複数のカラムでの最大カウント: " + maxCount)

これらはいくつかの一般的な方法ですが、Spark SQLではさまざまな方法で最大カウントを取得することができます。必要に応じて、データセットや特定の条件に合わせてこれらの例をカスタマイズして使用できます。