1.前提条件
下载JavaEE Eclipse ,自带Maven
安装好JDK1.8
下载并配置了Hadoop 2.6.x
2.创建Maven Project
选择 Maven-archetype-quickstart 选项
将项目的 JRE换成 JDK1.8,点击编辑 选择 系统的1.8版本
配置POM文件,为了以后写程序方便,pom.xml使用以下内容替换对应内容:
|
Eclipse会下载 相关的Jar文件
关于pom.xml文件的配置,可以通过以下网站(Maven中央仓库信息速查 http://maven.outofmemory.cn/org.apache.spark/)搜索并对照修改,如要查找 spark-streaming_2.10 的依赖包的话,可以点击并对应找到。
如果下载更新时出现错误,可以点击 右键,然后选择“Quck Fix”
查看包已经正确下载了
3.开发程序
在src下面建立一个WordCount类,然后编写如下代码
/** * */ package com.dt.spark.tempStatisticsApp.cores; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.apache.spark.api.java.function.PairFunction; import org.apache.spark.api.java.function.VoidFunction; import scala.Tuple2; /** * @author yuming * ail: ymzhang@foxmail.com * weibo: http://www.weibo.com/yumzhang */ public class WordCount { public static void main(String[] args) { //设置应用程序的名称和运行模式(本地) SparkConf conf = new SparkConf() .setAppName("Spark WordCount by Java.").setMaster("local"); //创建Java SparkContext, //通往天堂之门(去集群的唯一通道) JavaSparkContext sc = new JavaSparkContext(conf); //使用本地数据源来创建JavaRDD JavaRDD<String> lines = sc.textFile("H://ScalaTraining//shell//README.md"); //对初始的JavaRDD进行Transformation级别的处理,例如Map、Filter高阶函数的编程 //对每行进行拆分, JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() { @Override public Iterable<String> call(String line) throws Exception { // return Arrays.asList(line.split(" ")); } }); //对单词实例进行计数为1 JavaPairRDD<String,Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() { @Override public Tuple2<String, Integer> call(String word) throws Exception { return new Tuple2<String,Integer>(word,1) ; } }); // 统计每个单词在文件中出现的总次数 JavaPairRDD<String,Integer> wordsCount = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() { // 对相同的key,对value进行累加,可以local和reducer级别同时reduce,提高网络带宽利用率 @Override public Integer call(Integer v1, Integer v2) throws Exception { return v1 + v2; } }); wordsCount.foreach(new VoidFunction<Tuple2<String,Integer>>() { @Override public void call(Tuple2<String, Integer> pairs) throws Exception { System.out.println(pairs._1 + ":" + pairs._2); } }); //关闭sc上下文 sc.close(); } }
Run As Java Application
5.后续:
如果程序运行时能够正常出现结果 ,但是会 运行时报错:
再次执行不再报错误信息。
相关推荐
项目:maven-hadoop-java-wordcount-template 这是一个 ...编译你的项目要编译项目,请使用 maven 命令 mvn clean package运行您的应用程序使用 Hadoop 在你的 shell 中 hadoop jar your-hadoop-application.jar arg0
java连接sqoop源码Hadoop-project-with-maven 设置了 Hadoop maven 依赖项的 Java WordCount 示例 这是一个练习,可帮助您安装和运行用 Java 编写的 hadoop 程序,首先在本地模式下的 IDE 中,然后在您将自己构建的 ...
使用eclipse和maven的Hadoop Mapreduce示例:日志文件分析:本文简要概述了如何使用Eclipse和maven应用map reduce来计算每天发生的日志消息类型的数量。 先决条件: • 虚拟机上的Hadoop 设置。 • Java 版本 6 ...
spark local下 WordCount运行示例,maven项目,直接导入eclipse即可
一些开发/配置信息: 该应用程序是使用Java 11,Maven 3.6.3构建的,并使用JUnit4。 在开发过程中,使用了Eclipse 2021-03 IDE 开发是在Linux工作站上完成的Open Liberty用作Jakarta EE服务器Arquillian被用作测试...
hadoop-wordcount-eg Hadoop WordCount 示例 - Maven 项目Hadoop 以文件系统作为输入和输出使用“现有 Maven 项目”在 Eclipse 中导入项目定位类 WordCountFileSystem 将 inputPath 更改为包含要分析的文件的目录...
Maven在Eclipse中远程调试hadoop2.6.0项目 1.系统环境 调试:Win7,64bit Cluster: Linux, Centos 2.创建hadoop项目命令 mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org....
我基本上没有使用 Java 的经验,以前从未使用过 Eclipse 或 Maven。 WordCount、AlphaCount 和 FriendsYouMayKnow 基于斯坦福课程。 我还有一个讲台,讨论了我在完成 edX CS190.1x、使用 PySpark 的可扩展机器学习...
maven项目pom文件配置 4.0.0 com.bigdata mapreduce 0.0.1-SNAPSHOT mapreduce http://maven.apache.org UTF-8 org.apache.hadoop hadoop-client 2.8.1 一、在eclipse使用main方法提交给集群yarn...
2_java引入ide-eclipse 3_java基础知识-循环-类型转换 4_循环-函数-数组-重载 5_多为数组-冒泡-折半-选择排序 6_oop-封装-继承-static-final-private 7_多态-接口-异常体系 8_适配器/ k% N! Y7 j/ |- c) O5 M' V6 S ...