Question

【iObject Spark】基于Spark cluster模式GPA读取GDB坡度图矢量数据做叠加分析报错kryoException异常，提示Buffer overflow，应该怎么解决？

Answer 1

【解决办法】Spark geomesa开出的spark.kryoserializer.buffer.max参数最大支持2gb的序列化缓冲区，由于分区数太小导致序列化最大内存不足，从而内存溢出。调大读取数据分区数为10000，任务并行度为2000，这样可以降低同一时刻的序列化对象数，降低序列化结果内存占用，避免达到最大序列化内存2000m的限制。