设置Hadoop守护进程的JVM参数

news/2024/9/28 19:05:52 标签: hadoop, jvm, 大数据

一般情况下我们不去动守护进程的JVM,这里的守护进程说的是NameNode、DataNode等Hadoop服务自己本身的进程。但是有一些特殊情况下需要限制,比如工作中虽然集群中资源队列会有10%左右的预留空余,不过这是整个集群队列的限制,对于DataNode节点自身来说通常是限制在配置文件中的定额可跑任务总资源起到一个直观的限制,而通常DataNode节点自身的大部分资源都会分配给计算以及部分系统预留,这就导致我们在使用一些能力的时候偶发一个JVM可分配到的内存不足的问题,如下

#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 2684354560 bytes for committing reserved memory.
# Possible reasons:
#   The system is out of physical RAM or swap space
# Possible solutions:
#   Reduce memory load on the system
#   Increase physical memory or swap space
#   Check if swap backing store is full
#   Decrease Java heap size (-Xmx/-Xms)
#   Decrease number of Java threads
#   Decrease Java thread stack sizes (-Xss)
#   Set larger code cache with -XX:ReservedCodeCacheSize=
# This output file may be truncated or incomplete.
#
#  Out of Memory Error (os_linux.cpp:2749), pid=989550, tid=0x00007f3ff4b66700
#
# JRE version:  (8.0_202-b08) (build )
# Java VM: Java HotSpot(TM) 64-Bit Server VM (25.202-b08 mixed mode linux-amd64 )
# Core dump written. Default location: /home/work/core or core.989550

上面这个是博主工作中,某次操作hadoop ls时报了一个内存不足的OOM错误,这种时候,就需要对守护可用的内存做一些限制,限制的方法是修改hadoop-evn.sh配置文件中的HADOOP_OPTS环境变量

export HADOOP_OPTS="$HADOOP_OPTS -Xmx2g -Xms1g"

这里-Xmx2g表示设置最大堆内存为2GB,-Xms1g表示设置初始堆内存为1GB。

除了全局的HADOOP_OPTS环境变量外,Hadoop还允许你为不同的组件(如NameNode、DataNode等)单独设置JVM参数。这通常通过在hadoop-env.sh中设置特定的环境变量(如HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS等)来实现。


http://www.niftyadmin.cn/n/5681680.html

相关文章

记录一次docker容器内无法运行java的问题

目录 问题描述: 解决方案: 问题描述: 项目要求容器化部署,在其他人给的基础镜像上添加我的java程序,由于其他人给的镜像没有jdk环境,需要通过dockerfile将jdk拷入和配置环境变量来构建java环境&#xff0…

k8s中,服务的自动注册、自动感知、负载均衡,三个功能的含义及测试验证

自动感知,指的是客户端只用访问服务的ip,而不用关心pod在哪个节点,以及pod的ip是多少。 服务可以自动感知pod的位置及ip,核心是通过selector标签选择器找到pod 自动注册,指的是服务创建之后,会自动在k8s的…

累加求和-C语言

1.问题: 计算123……100的和,要求分别用while、do while、for循环实现。 2.解答: 累加问题,先后将100个数相加。要重复进行100次加法运算,可以用循环结构来实现。重复执行循环体100次,每次加一个数。 3.代…

海外盲盒APP系统:盲盒出海热潮下的选择

近年来,盲盒市场展现出了强劲的发展态势,不仅在国内持续上演“盲盒热”,在海外市场中更是“一盒难求”!在盲盒出海的浪潮下,盲盒在国际市场中迅速火爆,一时席卷了全球市场。 海外盲盒系统是企业拓展海外市…

洛谷P1197.星球大战

洛谷P1197.星球大战 并查集 贪心 正着不好想&#xff0c;逆向思维将摧毁变为修建 一开始处理图的时候就是将所有没有被炸的点能连的连在一起(图论)并求出连通块数量(并查集)然后逐步反向将被摧毁的点复原 #include <bits/stdc.h>using namespace std;const int N 4…

DarkLabel2.4版本导入MOT17数据集

目录 背景导入效果MOT17数据集说明DarkLabel导入视频导入gt文件 背景 做目标追踪&#xff0c;目前找了一圈开源工具&#xff0c;发现DarkLabel还是很好用的&#xff0c;提供自动目标跟踪&#xff0c;标注很方便。 由于目标追踪我用的是bytetrack&#xff0c;官网是用mot17数据…

Arthas redefine(加载外部的.class文件,redefine到JVM里 )

文章目录 二、命令列表2.2 class/classloader相关命令2.2.3 redefine&#xff08;加载外部的.class文件&#xff0c;redefine到JVM里 &#xff09;举例1&#xff1a;加载新的代码&#xff0c;jad/mc 命令使用举例2&#xff1a;上传 .class 文件到服务器的技巧 二、命令列表 2.…

互联网安全为什么要做风险评估:构建数字世界的坚固防线

在当今这个数字化时代&#xff0c;互联网已经成为社会运转不可或缺的基础设施&#xff0c;它深刻地改变了人们的生活方式、工作模式以及信息交流的渠道。然而&#xff0c;随着互联网的普及和应用范围的扩大&#xff0c;网络安全问题也日益凸显&#xff0c;成为制约互联网健康发…