Question

【iObject Spark】基于Spark cluster模式GPA构建大的业务模型，BoundsComputer这个stage执行1.5小时无响应也未结束，日志不报错，cpu活跃占用少，内存消耗多，是什么原因？

Answer 1

【解决办法】通过深度排查Linux操作系统内核的日志，发现有线程任务超时，未接收到信号导致假死无响应。通过修改spark.rpc.askTimeout参数为3600s。可在1分钟内快速执行完成BoundsComputer的stage