Question

BDT 使用spark 2.4.0 跑不起来，会卡在

13:15:37 INFO ENGINE: dataFileCache open start
13:15:39.635 INFO  - Starting job: reduce at BoundsComputer.scala:87
希望有关的工程师可以给适配一下spark 2.4.0。

Answer 1

信息不足，判断不了什么原因，推测是spark环境的问题或者是spark集群job调度问题，比如没有分配到资源，job卡住了一直在等待资源，所以没进行日志输出。因为如果是sdk接口问题，那么会在执行过程中抛出异常来，所以可判断不是sdk接口问题。spark2.4.0理论可以用，差异不大，我们常用推荐是spark2.3.2

Comments

不是啊，我就在开发环境里做的测试，maven引用spark jar包的版本2.3.2就能跑，2.2.0也能跑起来，换成2.4.0就跑不起来，数据源完全一样，wordcount在哪个版本都能跑起来，这就和资源关系不大了吧，希望你们也可以试一下，若有问题，还是希望能适配一下。