CM方式搭建集群---基础准备

生产中的集群规模：
   一般情况下，在生产环境中根据集群查的规模分成三种
        一，小型集群
            20台以内
        二, 中型集群
            50台以内
        三，大型集群
            50台以上
基本组件的配置：
       1.zookeeper
             一，小型集群：3-5个节点
             二, 中型集群：5、7个节点
             三，大型集群：奇数个节点
       3.HDFS：主要做的是海量数据的存储
            3.1 ：首先进行的hadoop版本的选择
                Hadoop主要的发行版本：
                    1.Apache：
                    2.CDH：->Cloudera Distribution Hadoop
                    3.HDP：->Hortonworks Distribution Hadoop
                    4.华为的：
                其中用的最多的是CDH的和HDP的，CHD是cloudera manager公司发行的版本，只支持64位的操作系统
                选择的原因是
                    一.免费
                    二.
                安装的方式：
                    1.tar包的方式
                    2.rpm包的方式
                    3.parcels包的方式，pacels方式是把所有的东西都封装成了一个压缩包，所以安装起来会方便一些，所以用的是最多的
                    但是在cdh 4.1.2之后才有的，也是官方推荐的一种安装方式，安装的时候必须要cloudera manager的管理平台进行安装
            3.2环境准备：
                3.2.1：磁盘阵列
                        RAID 0 ：
                        RAID 1 ：就是两块磁盘映射成一块磁盘使用，当集群运行中当其中的一块磁盘损坏的时候不会损坏集群，因为两块磁盘是相互映射备份的
                        JBOD   ：DataNode存储数据的推荐方式
                3.2.1：操作系统
                    Redhat、Centos推荐6.x,具体的版本配置在cloudera的官网可以查到
                3.2.2：系统设置
                    IP地址统一：尽可能在同一网段
                    主机名设置：
                    设置文件打开数据和用户最大进程数：
                        查看方式：
                            ulimit -a
                            ulimit -u
                        修改方式：vim /etc/security/limits.conf
                    防火墙设置：
                    开机启动项设置：vim /etc/init.tab
                    禁用设置：Selinux(如果不禁用，centos会装不成功)   /etc/sysconfi/selinux
                    用户权限设置：普通用户主要用于安装软件，集群中的所有的普通用户必须一致
           一，小型集群：3-5个节点
           二, 中型集群：5、7个节点
           三，大型集群：奇数个节点