如何创建Spark连接和读取数据集？【案例】

在类CategoryTopl0中定义main()方法，该方法是Java程序执行的入口，在main()方法中实现Spark程序，具体代码如文件1所示。

文件1 CategoryTop10.java

public class CategoryTop10{
   public static void main(String[] arg){
   //实现热门品类Top10分析
   }
}

SparkConf conf =new SparkConf():
//设置Application 名称为topl0_category
conf.setAppName("top10_category"):
JavaSparkContext sc =new JavaSparkContext (conf);

JavaRDD<String> textFileRDD =sc.textFile (arg [0]);

上述代码中，通过变量arg[o]指定文件路径，目的是执行提交Spark程序到YARN集群运行的命令中，通过参数指定文件路径。