spark 写入 hudi时数据类型报错

  • 开发
  • 58

报错信息如下：

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet. Column: [final_total_amount], Expected: decimal(16,2), Found: FIXED_LEN_BYTE_ARRAY

解决办法：

将原表中凡是涉及decimal类型的都需要转成字符串类型或者其他hudi可接受的类型

阅读全部

相关推荐

  1. spark 写入 hudi时数据类型报错

    2023-12-08 19:02:03       59 阅读

  2. spark写入数据报错

    2023-12-08 19:02:03       61 阅读

  3. spark3.x 读取hudi报错

    2023-12-08 19:02:03       42 阅读

  4. spark 写入 mysql 报错

    2023-12-08 19:02:03       43 阅读

  8. Hudi Spark Sql Procedures 回滚 Hudi 表数据

    2023-12-08 19:02:03       32 阅读

  10. spark 报错总结

    2023-12-08 19:02:03       46 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-08 19:02:03       98 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-08 19:02:03       106 阅读

  9. 在Django里面运行非项目文件

    2023-12-08 19:02:03       87 阅读

  19. Python语言-面向对象

    2023-12-08 19:02:03       96 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2023-12-08 19:02:03       91 阅读

热门阅读

  3. qt 安装

    2023-12-08 19:02:03       50 阅读

  6. Qt之QOpenGLWidget开始3D显示

    2023-12-08 19:02:03       69 阅读

  13. LintCode 1258 · Beautiful Subarrays (前缀和好题)

    2023-12-08 19:02:03       55 阅读

  14. 【MATLAB】 数据、矩阵、行、列翻转

    2023-12-08 19:02:03       65 阅读

  15. Python 适合做什么？

    2023-12-08 19:02:03       65 阅读

  19. SQL(COALESCE)

    2023-12-08 19:02:03       61 阅读

  20. Ant-Design-vue表单的编辑功能数据的回显

    2023-12-08 19:02:03       45 阅读