发表于 | 阅读次数:

清理集群的脚本

该脚本旨在重新配置hadoop的时候我们需要清理一下集群中的东西，比如记录等。

阅读全文 »

发表于 | 阅读次数:

初始化集群

该脚本主要时对第一次使用集群的时候进行一个初始化。

阅读全文 »

发表于 | 阅读次数:

所有节点 文件删除脚本编写

该脚本旨在删除所有节点上相同的东西，比如hadoop的重新配置等，还有删除hadoop的log等文件，都比较方便。

阅读全文 »

发表于 | 阅读次数:

所有节点 文件拷贝脚本编写

该脚本旨在往每个节点拷贝数据，之前我们的拷贝是需要自己一个节点一个节点链接然后拷贝，但是如果我们每个节点都拷贝同样的数据时，这样做显然很麻烦，如果节点多的话还很浪费时间，这样我们就可以通过该脚本自己循环拷贝。

阅读全文 »

发表于 | 阅读次数:

扩展Slave的时候需要注意的一些问题

  1. 扩展的时候可以先直接按照Hadoop集群安装配置教程先进行。
  2. 这里需要更改 /usr/local/hadoop/etc/hadoop 路径下的 slave文件中的参数，需要把添加的节点加进去。
    阅读全文 »

发表于 | 阅读次数:

Hadoop安装_单机伪分布式配置

创建hadoop账户

添加用户：

sudo useradd -m hadoop -s /bin/bash

给用户设置密码：

sudo passwd hadoop

给用户管理员权限：

sudo adduser hadoop sudo

更新apt

sudo apt-get update

安装vim:

sudo apt-get install vim
阅读全文 »

发表于 | 阅读次数:

hadoop集群安装

准备工作

Hadoop 集群的安装配置大致为如下流程:

1、选定一台机器作为 Master
2、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3、在 Master 节点上安装 Hadoop，并完成配置
4、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6、在 Master 节点上开启 Hadoop
阅读全文 »

发表于 | 阅读次数:

可以根据博客中的hello-world文件中讲述的安装

下面是一些详细的步骤

1、安装node,可以去node的官网直接下载 https://nodejs.org/en/ （这里我下载的是node-v6.11.1-x64）
2、安装hexo，可以打开cmd终端输入

npm install -g hexo-cli
阅读全文 »