请问isever运行同一个模型，为什么local单进程所用时间要比local多进程久呢

1个回答

符合预期，local是单进程，local多进程会启动多个进程执行，所以更快。

数据量越大和分析越复杂，local多进程模式越有优势、性能更好。

推荐spark.excutor.cores=2，spark.excutor.memory=4g，spark.default.parallelism=cpu数量即可；其他参数不是特别重要

杨兵

1,565EXP 2024年12月26日

不好意思，我说错了，是local单进程用时20秒，反而local多进程用时更久48秒，这属于正常情况吗?

mmChen

8EXP 2024年12月26日

请登录或者注册后回答这个问题。

1个回答

请登录或者注册后再添加评论。

请 登录 或者 注册 后回答这个问题。

1个回答

请 登录 或者 注册 后再添加评论。

智能推荐

请登录或者注册后回答这个问题。

请登录或者注册后再添加评论。