MapReduce之hadoop:安装与配置

实习回来给创新院配置hadoop集群环境,总共27台机器。

  1. 硬盘分区

  2. 第一块硬盘 2TB 为 sda (引导磁盘)(EXT4)

  3. /boot 2GB (主分区)
  4. / 550GB
  5. swap 4G
  6. /usr 500GB (将/usr 不易变化独立出来)
  7. /tmp 450GB (将tmp,var 经常变化的分区独立出来,提高磁盘效率)
  8. /var 450GB
  9. 第二块硬盘 2TB 为 sdb (EXT4)
  10. /home 1.8TB (主分区)
  11. swap 4GB(两个磁盘都加入swap分区)

  12. ssh 配置

  13. ssh hadoop@192.168.2.91 “mkdir .ssh;chmod 0700 .ssh” #创建相应的文件夹
  14. scp ~/.ssh/* hadoop@192.168.2.88:~/.ssh/ #拷贝认证文件
  15. 当出现无法免密码登陆时,卸载openssh-server,删除~/.ssh,重新建立.ssh,设定权限为0700,权限对RSA登陆非常重要。

  16. 配置hosts配置hosts

tianwei /
Published under (CC) BY-NC-SA in categories tech  tagged with MapReduce  OpenSource  Python  Dumbo