博客
关于我
Hadoop-之数据均衡
阅读量:723 次
发布时间:2019-03-21

本文共 800 字,大约阅读时间需要 2 分钟。

Hadoop 数据均衡操作

数据的均衡问题在集群操作中经常出现,可能存在于不同节点之间,也可能出现在同一节点的多个磁盘之间。为解决这些不均衡问题,我们需要设计数据迁移和传输策略,无论是跨节点迁移还是跨磁盘迁移,均需要合理规划和执行。

节点间数据均衡

Hadoop提供了一些默认脚本来实现节点间的数据均衡。此类脚本可以通过以下路径访问:

[路径] start-balancer.sh

在进行该操作之前,务必确保集群处于空闲状态,因为否则跨节点的RPC网络传输可能会占用大量资源,导致集群在忙碌时长时间无法获取到所需的资源而导致任务运行失败。

脚本使用默认参数为10,该参数表示集群中任何两个节点的磁盘使用率之差不超过10%。可根据实际集群负载情况调整该参数。若需要停止正在进行的均衡操作,可执行:

[路径] stop-balancer.sh

磁盘间数据均衡

对于磁盘间的数据均衡,可按照以下步骤进行操作:

1. 生成均衡计划

按照以下命令生成一个均衡计划文件:

hdfs diskbalancer -plan shufang102.plan.json

该命令会生成一个JSON文件,文件名为shufang102.plan.json。文件名可根据实际需求进行命名。

2. 执行均衡计划

按照生成的计划文件执行均衡操作:

hdfs diskbalancer -execute shufang102.plan.json

3. 查看任务执行情况

在均衡操作进行期间,可以使用以下命令查看当前任务的执行状态:

hdfs diskbalancer -query shufang102

4. 取消已计划的任务

如需中止计划中的任务,可执行以下命令:

hdfs diskbalancer -cancel shufang102.plan.json

注意:上述命令仅为示例,具体操作时请根据实际环境自行调整参数和文件命名。

转载地址:http://jcygz.baihongyu.com/

你可能感兴趣的文章
Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
查看>>
mysql_real_connect 参数注意
查看>>
mysql_secure_installation初始化数据库报Access denied
查看>>
MySQL_西安11月销售昨日未上架的产品_20161212
查看>>
Mysql——深入浅出InnoDB底层原理
查看>>
MySQL“被动”性能优化汇总
查看>>
MySQL、HBase 和 Elasticsearch:特点与区别详解
查看>>
MySQL、Redis高频面试题汇总
查看>>
MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
查看>>
mysql一个字段为空时使用另一个字段排序
查看>>
MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
查看>>
MYSQL一直显示正在启动
查看>>
MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
查看>>
MySQL万字总结!超详细!
查看>>
Mysql下载以及安装(新手入门,超详细)
查看>>
MySQL不会性能调优?看看这份清华架构师编写的MySQL性能优化手册吧
查看>>
MySQL不同字符集及排序规则详解:业务场景下的最佳选
查看>>
Mysql不同官方版本对比
查看>>
MySQL与Informix数据库中的同义表创建:深入解析与比较
查看>>
mysql与mem_细说 MySQL 之 MEM_ROOT
查看>>