<dfn id='tyL9tmPm'></dfn>

        <noscript id='tyL9tmPm'></noscript>

      1. 频道栏目
        首页 > 网络 > 云计算 > 正文

        Spark学习之DEA开发WordCount程序

        2019-02-21 11:18:36           
        收藏   我要投稿

        package demo

        import org.apache.spark.{SparkConf, SparkContext}
        
        object SparkDemo {
        
          def main(args: Array[String]): Unit = {
            //配置
            val sparkConf = new SparkConf()
            sparkConf.setAppName("sparkdemo").setMaster("local")
            //创建sc 对象
            val sc = new SparkContext(sparkConf)
            /*val rdd1 = sc.textFile("hdfs://192.168.163.11:9000/data/data.txt")
            val rdd2= rdd1.flatMap(_.split(" "))
            val rdd3 = rdd2.map((_,1))
            println(rdd3.collect())
            val rdd4 = rdd3.reduceByKey(_+_)
            rdd4.saveAsTextFile("hdfs://192.168.163.11:9000/spark/data/1012/1")
         */
            //使用sc 对象执行任务
            sc.textFile(args(0))
              .flatMap(_.split(" "))
              .map((_,1))
              .reduceByKey(_+_)
              .saveAsTextFile(args(1))
            //停止任务
            sc.stop()
        
          }
        }
        然后 idea 打成jar文件(如有问题请查看 IDEA 输出jar)

        运行程序:

        [root@BigData11 spark-2.1.0-bin-hadoop2.7]# bin/spark-submit --master spark://BigData11:7077 --class demo.SparkDemo /root/tools/mysparkdemo.jar hdfs://192.168.163.11:9000/data/data.txt hdfs://192.168.163.11:9000/spark/1013
        上一篇:Maceclipsehadoopplugin安装步骤流程
        下一篇:Spark学习笔记之spark-submit+spark-shell-Aimmon
        相关文章
        图文推荐

        关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

        版权所有: 第一门户--致力于做实用的IT技术学习网站