Spark-SparkSql笔记

记录spark sql 的使用

开窗函数

在 spark sql 中也有这个函数~

val sql =
  """
    select id, id_number, min(id) over (partition by id_number) as empi from view where id_number is not null or id_number != ''
  """

参考资源

spark 累加历史 + 统计全部 + 行转列