spark Data 写出到MySQL时报如下错误:
java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect
原因: 写出的Data 表结构和MySQL中创建的表结构不一致,
2个 Data join 后的结果中有两列都是“name”列。
解决: 修改Data 写出结构。核心代码如下:
val res1: Dataset[Row] = studentInfoDF.join(stu_scoresDF, studentInfoDF.col("name") === stu_scoresDF.col("name")) .filter(stu_scoresDF.col("score") > 80) res1.show(false) import spark.implicits._ val out: Dataset[(String, Int, String)] = res1.map(row => (row.getAs[String](0), row.getAs[Int](1), row.getAs[String](3))) out.toDF("name","age","score").write.mode("append").jdbc(url,"good_stu",prop) 继续阅读与本文标签相同的文章
上一篇 :
Spark 官网阅读笔记
下一篇 :
spark2.3.0 源码编译,一次成功。
-
数据库变更后忘记备份原数据库了。怎么找回原数据库名
2026-05-26栏目: 教程
-
OpenSatck Ironic实现裸机管理
2026-05-26栏目: 教程
-
redis系列:集群
2026-05-26栏目: 教程
-
Python网络编程(weekly summary1)
2026-05-26栏目: 教程
-
fork函数 && IO缓冲区
2026-05-26栏目: 教程
