博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
IntelliJ IDEA和Scala IDE编写Spark
阅读量:4476 次
发布时间:2019-06-08

本文共 1901 字,大约阅读时间需要 6 分钟。

1.首先在网上下载ideaIliJ IDEA(https://www.jetbrains.com/idea/),点击下载即可

2.下载Scala(http://www.scala-lang.org/),选择合适的版本下载,本文采用2.11.7,然后安装scala,配置环境变量即可,建议默认安装,省去很多不必要的东西。

然后打开电脑cmd,输入scala,当显示scala交互的界面表示已经安装成功了。

3.下载JDK8,这个网上百度一大堆,以及如何配置环境变量,因为scala也是运行在JVM上的

4.下载Scala IDE(http://scala-ide.org/download/sdk.html)

5.首先介绍Scala IDE如何使用scala,打开IDE,创建一个新的Scala Project,取名为HelloScala,这时候通常 出现和你所用的scala版本不相符的情况,如下,          这时候需要,右键选择工程的Properties,进入后再选择Scala compiler,点击Use Project Setting,选择和你所下载的scala版本相符合的Latest版本。然后按照创建Java的方式创建即可,只需要注意,可以在包下直接创建Object,输入以下测试代码

,最后右键run就可以了。

6.当采用IDEA的时候就比较复杂一点,首先需要scala插件才能创建工程,当你没有下载的时候,你可以先创建一个empty project,然后点击file->settings->Plugins,在搜索框输入Scala,然后安装就行了,然后点击file->project structure->Modules,点击绿色加号,创建new module,这时候应该就可以创建Scala的工程了,要是不行,可以重启一下,这时候要是Module SDK和Scala SDK没选择好,可以修改,Module的是JAVA sdk,然后新建一个scala class,当出现输入名字的时候,点击下拉框,选择新建object,同样输入上述代码,成功运行,到此全部结束。两者均可以运行scala

7.然后开始搭建spark,本文选择的是下载代码导入的方式,不采用maven,第一步,确保你的电脑上安装了hadoop,并且可以正常的运行,这个可以参考马士兵的hadoop教程,然后在这个页面下载spark(http://spark.apache.org/downloads.html),一定要选择和你的hadoop版本一致的spark,并且选择Pre-build版本,下载下来解压即可,然后将解压后文件的bin目录,添加到Path环境变量,,打开cmd,输入spark-shell,正常运行,表示可以在本机采用命令行交互实现spark。

8.当采用IDEA,书写spark的时候,可以建立maven,也可以建立scala程序,本文建立了一个scala程序,就在上面的基础上,在IDEA中点击file->Project Structure->Libraries,选择Java,找到解压后的spark文件夹下的jars文件夹,选择这个文件夹,点击确定,一路确定即可,此时,External Libraries会出现三个,如下,这时候,先新建一个文本文件test.txt,输入如下内容,

 

输入一个测试程序,如下

1 import org.apache.spark.{SparkConf, SparkContext} 2  3 object hello { 4   def main(args: Array[String]): Unit = { 5     val conf=new SparkConf().setAppName("Test").setMaster("local") 6     val sc=new SparkContext(conf) 7     val files=sc.textFile("G:\\test.txt").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)//这里输入绝对路径 8     files.collect().foreach(println) 9   }10 }

 

输出表示运行成功。

9.采用scala IDE的时候,采用类似导入Java包的方式进行导入,然后书写一样的代码进行测试,结果也是一样的。

 

 

 

 

 

转载于:https://www.cnblogs.com/SakerLiu/p/8658391.html

你可能感兴趣的文章
C++著名程序库的比较和学习经验(STL.Boost.GUI.XML.网络等等)
查看>>
Spring Boot构建RESTful API与单元测试
查看>>
【JavaScript你需要知道的基础知识~】
查看>>
谷歌搜索语法
查看>>
static 静态变量
查看>>
Java面试题(05)
查看>>
Oracle基础
查看>>
pytest_用例运行级别_模块级
查看>>
HDU多校Round 10
查看>>
JFree图表
查看>>
读/写文件操作
查看>>
20155339平措卓玛 Exp1 PC平台逆向破解(5)M
查看>>
本地项目上传码云
查看>>
TensorFlow在Windows上的CPU版本和GPU版本的安装指南(亲测有效)
查看>>
蒟蒻吃药计划-治疗系列 #round5 采药+数字组合代码存放
查看>>
Git
查看>>
ImageSwitcher 右向左滑动的实现方式
查看>>
数学之美读书笔记一信息的度量和作用
查看>>
《荣枯鉴》示伪卷八
查看>>
NLP 第10章 基于深度学习的NLP 算法
查看>>