本文共 951 字，大约阅读时间需要 3 分钟。
CDH部署HDFS高可用配置指南
一、HDFS权限检查配置
关闭HDFS中的权限检查配置dfs.permissions，以便提升集群性能。
二、Hadoop支持LZO压缩
1. 添加LZO Parcel存储库
点击主机，进入Parcel界面。 点击“配置”，找到LZO Parcel存储库URL。 点击最后一栏的加号，输入新的存储库URL并保存更改。 下载LZO Parcel，完成后选择分配并激活。 2. 配置LZO压缩编码解码器
在HDFS配置中，点击加号，输入com.hadoop.compression.lzo.LzopCodec，保存更改。
3. 安装Hadoop LZO依赖包
在YARN配置中，编辑MR应用程序Classpath，添加路径/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar。
三、NameNode高可用配置
1. 启用高可用性
进入HDFS页面，点击“启用High Availability”，进入高可用配置界面。
2. 配置高可用参数
命名高可用集群，输入集群名称。 分配角色，选择NameNode角色。 审核更改，完成配置。 等待服务启动，完成高可用配置。 四、Flume日志采集
1. Flume安装
上传Kafka相关JAR包到/opt/cloudera/csd目录。 修改包文件权限，完成Flume安装。 五、Kafka安装
1. 离线安装步骤
在/opt/cloudera/csd目录下上传Kafka包文件。 修改文件权限，完成Kafka安装。 在Cloudera Manager中激活Kafka服务。 六、Sqoop安装
验证Sqoop连接配置，确保数据库连接无误。
七、CDH5.12.1安装Spark2.1
1. 升级准备
下载Spark2.1的parcel包，上传至/opt/cloudera/csd目录。
2. 升级过程
上传Spark2.1的JAR文件。 上传Spark2.1的Parcel文件及SHA1签名文件。 修改文件权限，完成Spark2.1安装。 通过以上步骤，完成CDH5.12.1集群中Spark2.1的安装与配置。
转载地址：http://yqefk.baihongyu.com/