如何分析spark内存调优的配置

如何分析spark内存调优的配置，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

成都网站建设哪家好，找成都创新互联！专注于网页设计、重庆网站建设、微信开发、小程序开发、集团企业网站设计等服务项目。核心团队均拥有互联网行业多年经验，服务众多知名企业客户；涵盖的客户类型包括：成都玻璃贴膜等众多领域，积累了大量丰富的经验，同时也获得了客户的一致称赞！

为啥不直接设置：spark.memory.storageFraction以减少存储内存的占比。

大家可以思考一下，减少spark.memory.storageFraction，可行吗？

明显是不太可行的，这个是没有理解这两个参数的含义。

要知道spark的大部分内存分为执行内存和存储内存。他们共享一个存储空间M。同时，存储内存在执行内存空闲的时候可以占用执行内存空间，执行内存也可以在存储内存大于一个阈值R的时候占用存储内存。R代表缓存不可被清除的最小存储内存。

M和R的计算如下：

1),spark.memory.fraction将M的大小表示为（JVM堆空间 - 300MB）的一部分（默认为0.75，新版本如spark2.2改为0.6）。剩余的空间（25％，对应的新版本是0.4）用于用户数据结构，Spark中的内部元数据，并且在稀疏和异常大的记录的情况下保护OOM错误。2),spark.memory.storageFraction表示R的大小作为M的一部分（默认为0.5）。R是M内的存储空间，其中缓存的块免于被执行器驱逐。

然后就会明白，假如我们单纯的减少spark.memory.storageFraction是行不通的，因为存储内存可以占用执行内存进行缓存，缓解不了老年代被吃满的状况，所以只能调整spark.memory.fraction。

1.当然，除了这样，还可以减少年轻代大小，前提是不影响性能。

2.spark最骚的操作是，没有加内存解决不了的问题，假如有那是没加够。

看完上述内容，你们掌握如何分析spark内存调优的配置的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注创新互联行业资讯频道，感谢各位的阅读！