【数据平台-dataworks】-问题总结

ODPS-0130071

• 错误详情

ODPS-0130071:[3,6] Semantic analysis exception - column xxx cannot be resolved
ODPS-0130071:[4,6] Semantic analysis exception - column a cannot be resolved
ODPS-0130071:[5,6] Semantic analysis exception - column b cannot be resolved
ODPS-0130071:[6,6] Semantic analysis exception - column c cannot be resolved
ODPS-0130071:[7,6] Semantic analysis exception - column d cannot be resolved
ODPS-0130071:[8,6] Semantic analysis exception - column e cannot be resolved
ODPS-0130071:[9,18] Semantic analysis exception - column f cannot be resolved
ODPS-0130071:[10,9] Semantic analysis exception - column f cannot be resolved
ODPS-0130071:[10,34] Semantic analysis exception - column f cannot be resolved
ODPS-0130071:[1,24] Semantic analysis exception - wrong columns count 8 in data source, requires 9 columns (includes dynamic partitions if any)

• 问题解析
  1、从报错信息中可以看到是查询的数据和数据库字段不匹配。
  2、select 查询的字段为定义。

• 解决方案

  • 检查sql正确性
    • select 中字段是否在原表或者子查询都存在
    • insert 前select字段个数和原表是否匹配，注意分区问题

  上述是一般都能解决，本次问题sql正确，且在测试环境可以执行，在冒烟测试报错，再次查看平台日志

  set biz_id=70000_202407_9027_90100_1_xx_20083_305;
  set odps.idata.system.id=dataworks_scheduler;
  insert overwrite table cc partition(pdate)
  select 
       xx-- 1
      ,a-- 2
      ,b-- 3
      ,c-- 4
      ,d-- 5
      ,e-- 6
      ,substr(conv(f,10,16),-1,1) as f-- asda
      ,if(f< 16, 0, substr(conv(f,10,16),-2,1)) as f_p -- 加热;
  odpscmd process start...
  OK
  OK
  OK
  ....
  2024-07-18 09:06:41 start to get jobId:
  

  可以发现sql在日中打印不全，检查发现是由于select 字段注释中存在;导致代码解析时被中断，误认为已经结束，部分代码被提交，导致报错。删除;解决。