spark memo

Pocket

memo

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112)
Type in expressions to have them evaluated.
Type :help for more information.

scala>  spark.read.orc("/var/data/spark/hoge/v1")
res1: org.apache.spark.sql.DataFrame = [timestamp: bigint, cookie_uid: string ... 15 more fields]

scala> res1.show

でそれっぽく表示されて

省略されてないのは

scala> res1.show(1, false)

コメントを残す

メールアドレスが公開されることはありません。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください