博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
理解MapReduce计算构架
阅读量:4949 次
发布时间:2019-06-11

本文共 305 字,大约阅读时间需要 1 分钟。

用Python编写WordCount程序任务

程序

WordCount

输入

一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

  1. 编写map函数,reduce函数
    1.   首先先创建文件  

       

       

       

  2. 将其权限作出相应修改
    1.  

  3. 本机上测试运行代码
    1.  

  4. 放到HDFS上运行
  5. 下载并上传文件到hdfs上
    1.  

  6. 用Hadoop Streaming命令提交任务

先找到Streaming的Jar包

       配置默认环境变量

       

      让配置生效并测试

      

      编写run.sh脚本程序

   

      运行结果

    

   

 

转载于:https://www.cnblogs.com/maize/p/9023354.html

你可能感兴趣的文章
PYTHON_3和2
查看>>
json数组的取值方法
查看>>
2019-7-15 vue01day
查看>>
SELECT LOCK IN SHARE MODE and FOR UPDATE
查看>>
Perl/Nagios – Can’t locate utils.pm in @INC
查看>>
目录导航「深入浅出ASP.NET Core系列」
查看>>
Git常用命令拾遗
查看>>
Canvas的drawImage方法使用
查看>>
自定义适用于手机和平板电脑的 Dynamics 365(四):窗体脚本
查看>>
阴影效果参考网址
查看>>
华为交换机端口镜像
查看>>
简易爬虫(爬取本地数据)
查看>>
一位菜鸟的java 最基础笔记
查看>>
python 进程间通信
查看>>
字符串和编码
查看>>
servlet(一)
查看>>
异常实验
查看>>
python \r与\b的应用、光标的含义
查看>>
深拷贝 vs 浅拷贝 释放多次
查看>>
Java环境变量PATH和CLASSPATH
查看>>