080HBase介绍和安装,cdh5集群搭建

发布时间:2019-10-08  栏目:编程  评论:0 Comments

MAC电脑:自带的ssh终端 ssh hadoop@hadoop-machine ssh hadoop@192.168.21.166Windws系统:CRT,XShell客户端远程服务器:CentOS 6.7三台主机名为:hdp-sk-01hdp-sk-02hdp-sk-03

安装ZooKeeper包

[CDH下载地址](http://archive.cloudera.com/cdh5/cdh/5/)

1、将课程提供的zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。
2、对zookeeper-3.4.5-cdh5.3.6.tar.gz进行解压缩:tar -zxvf
zookeeper-3.4.5-cdh5.3.6.tar.gz。
3、对zookeeper目录进行重命名:mv zookeeper-3.4.5-cdh5.3.6 zk。
4、配置zookeeper相关的环境变量
vi ~/.bashrc
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$ZOOKEEPER_HOME/bin
source ~/.bashrc

离线数据分析平台实战——080HBase介绍和安装

hadoop-machine(192.168.21.166)是远程服务器的hostname如果想在本地通过ssh hadoop@hadoop-machine远程登录,那么本地的hosts肯定要添加ip和hostname的映射192.168.21.166 hadoop-machine

配置zoo.cfg

cd zk/conf
mv zoo_sample.cfg zoo.cfg

vi zoo.cfg
修改:dataDir=/usr/local/zk/data
新增:
server.0=sparkproject1:2888:3888
server.1=sparkproject2:2888:3888
server.2=sparkproject3:2888:3888

HBase介绍

HBase是参考google的bigtable的一个开源产品,
建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。
是一种介于nosql和RDBMs之间的一种数据库系统,
仅支持通过rowkey和range进行数据的检索,主要存储非结构化数据和半结构化数据。

HBase和Hadoop一样,目标是通过横向扩展,添加普通机器来增加存储性能和计算性能。
HBase特点:
大(一个表可以有上亿行以及百万级的行)、
面向行存储、
稀疏(由于null不占用存储空间,所有表结果可以设计的非常稀疏)。

2.JDK的安装

设置zk节点标识

cd zk
mkdir data
cd data

vi myid
0

HBase组成结构

HBase使用Zookeeper进行集群节点管理,当然HBase自身集成了一个ZK系统,不过一般情况在实际生产环境中不使用。

HBase由master和regionserver两类节点(如果使用HBase自带的zk服务,那么还有HQuorumPeer进程)。Hbase支持提供backup
master进行master备份。
其中master节点负责和zk进行通信以及存储regionserver的相关位置信息,regionserver节点实现具体对数据的操作,最终数据存储在hdfs上。

  • 生产环境约定把软件包放在用户目录的~/software/下,将所有的软件都安装到~/appcd
    software目录下,执行tar -zxvf jdk-8u91-linux-x64.tar.gz -C ~/app/

  • 建议将jdk的bin目录配置到系统环境变量中:~/.bash_profile

搭建zk集群

1、在另外两个节点上按照上述步骤配置ZooKeeper,使用scp将zk和.bashrc拷贝到spark2和spark3上即可。
2、唯一的区别是spark2和spark3的标识号分别设置为1和2。

HBase架构

图片 1

image.png

启动ZooKeeper集群

1、分别在三台机器上执行:zkServer.sh start。
2、检查ZooKeeper状态:zkServer.sh
status,应该是一个leader,两个follower
3、jps:检查三个节点是否都有QuromPeerMain进程。

HBase安装-前期准备

HBase有三种安装方式,第一种独立模式,第二种是分布式模式(集成zookeeper),第三种是分布式模式(独立zookeeper)。

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH
安装步骤:
  1. 安装jdk,至少1.6(版本u18除外)。
  2. 安装ssh免密码登录。
  3. 修改hostname和hosts,hbase通过hostname获取ip地址。
  4. Hadoop安装。
  5. 生成环境集群(NTP + ulimit&nproc + hdfs的dfs.datanode.max.xcievers)
  6. hbase下载安装
  • 让系统环境变量生效source ~/.bash_profile
  • 验证java -version

HBase安装

3.ZooKeeper安装

安装步骤:
  1. 下载hbase,选择版本hbase-0.98.6-cdh5.3.6,下载地址http://archive.cloudera.com/cdh5/cdh/5/。
  2. 解压压缩包到目录/home/hadoop/bigdater/下。
  3. 在hbase的根目录下创建一个文件夹hbase来存储临时文件和pid等。默认/tmp。
  4. 修改配置信息${hbase.home}/conf/hbase-site.xml和${hbase.home}/conf/hbase-env.sh文件。
  5. 指定regionserver节点hostname,修改文件regionservers。
  6. 创建到hdfs-site.xml的软连接或者配置连接hdfs的配置信息。
  7. 添加hbase相关信息到环境变量中。
  8. 启动hbase集群并验证。
  • 下载ZK的安装包:wget http://archive.cloudera.com/cdh5/cdh/5/解压:tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/
  • 建议ZK_HOME/bin添加到系统环境变量: ~/.bash_profile

HBase配置信息–hbase-env.sh

主要指定JAVA_HOME和hadoop相关信息。其他包括pid存储路径指定和给定指定参数决定是否使用集成zk(默认使用)。

图片 2

image.png

图片 3

image.png

080HBase介绍和安装,cdh5集群搭建。HBase配置信息–hbase-site.xml

主要指定hbase相关资源配置信息和hdfs相关客户端信息。

图片 4

image.png

留下评论

网站地图xml地图