spark读取csv转换数据类型的问题

0 投票
val mapModifyType = new util.HashMap[String, String]()
mapModifyType.put("Age", "int")

这里的类型都支持哪些类型,我如果有一列日期,date类型的话,数据格式又应该如何处理呢?时间戳,毫秒,秒,日期格式的话分割符又是怎样的? 2020-07-14 14:32:07。因为看不到源码,不清楚具体的处理逻辑,有没有相关的说明文档呢,希望尽快得到解答,谢谢
7月 14 分类:  44次浏览 | 用户: bojag (4 分)

1个回答

0 投票

csv格式读取参考部分示例代码参考

val params = new util.HashMap[String, java.io.Serializable]()
params.put(FeatureRDDProviderParams.InputFile.key, filePath)
params.put(FeatureRDDProviderParams.ProviderType.key, "csv")
params.put(FeatureRDDProviderParams.NumPartitions.key, 8)
params.put(CSVFeatureRDDProviderParams.FirstRowIsField.key, true)
params.put(CSVFeatureRDDProviderParams.Fields.key, fields)
val rdd = new CSVFeatureRDDProvider().rdd(new Configuration(), sc, params, new Query())

样例数据可以参考newyork的csv文件和meta文件。

csv格式要求数据坐标必须是经纬度的

7月 15 用户: 杨兵 才高八斗 (831 分)
...