hadoop -- 3




准备工作首先搭建集群需要多台计算机,当然了,也可以使用虚拟机此处我准备使用三台虚机完成搭建,一主两从 Master: 192.168.1.140 (se1.ubuntu.pro)Slaver: 192.168.1.141 (se2.ubuntu.pro)Slaver: 192.168.1.142 (se3.ubuntu.pro) 虚拟机系统及必要应用的安装和配置这里不进行赘述,除此之外,主要的准备工作还有以下几个:linux 下设置 ssh 无密码登录 JDK 安装  hadoop 的安装及配置创建用户首先,我们为 hadoop 创建一个新的账户adduser hadoop passwd hadoop  hadoop 下载及安装到下载最新的 hadoop 安装包  依次解压缩、重命名、修改权限:tar -zxvf hadoop-latest.tar.gz mv hadoop-2.0.0-cdh4.7.0 hadoop sudo mv hadoop /usr/local/. sudo chown -R hadoop:hadoop /usr/local/hadoop  创建必要的目录sudo mkdir -p
#技术帖    #apache    #技术分享    #hadoop   
概述awk是一种编程语言,用于在linux/unix下对文本和数据进行处理数据可以来自标准输入、一个或多个文件,或其它命令的输出它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具它在命令行中使用,但更多是作为脚本来使用awk 的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理awk 分别代表其作者姓氏的第一个字母因为它的作者是三个人,分别是 Alfred Aho、Brian Kernighan、Peter Weinbergergawk是awk的GNU版本,它提供了 Bell 实验室和 GNU 的一些扩展 awk 命令格式和选项调用命令awk [options] 'script' var=value file(s) 或者awk [options] -f scriptfile var=value file(s) 可以运行 awk 命令或脚本 命令选项awk 命令选项选项意义-F fs or --field-
#技术帖    #linux    #unix    #技术分享   



京ICP备15018585号