首页 / 浏览问题 / 组件 / 问题详情
spark读取csv转换数据类型的问题
bojag  (13分)  才疏学浅
7月14日, 2020
val mapModifyType = new util.HashMap[String, String]()
mapModifyType.put("Age", "int")

这里的类型都支持哪些类型,我如果有一列日期,date类型的话,数据格式又应该如何处理呢?时间戳,毫秒,秒,日期格式的话分割符又是怎样的? 2020-07-14 14:32:07。因为看不到源码,不清楚具体的处理逻辑,有没有相关的说明文档呢,希望尽快得到解答,谢谢

1个回答

csv格式读取参考部分示例代码参考

val params = new util.HashMap[String, java.io.Serializable]()
params.put(FeatureRDDProviderParams.InputFile.key, filePath)
params.put(FeatureRDDProviderParams.ProviderType.key, "csv")
params.put(FeatureRDDProviderParams.NumPartitions.key, 8)
params.put(CSVFeatureRDDProviderParams.FirstRowIsField.key, true)
params.put(CSVFeatureRDDProviderParams.Fields.key, fields)
val rdd = new CSVFeatureRDDProvider().rdd(new Configuration(), sc, params, new Query())

样例数据可以参考newyork的csv文件和meta文件。

csv格式要求数据坐标必须是经纬度的

杨兵  (1,135分)  名扬四海
7月15日, 2020
...