DataWorks：数据集成问题排查

测试连通性

以关系数据库jdbcUrl为例(其他数据源如hdfs、redis、mogodb对应连接地址约束等价)，

本地IDC：

• 有公网：支持测试连通性；需要jdbc url模式添加数据源；
• 无公网：不支持测试连通性；需要jdbc url模式添加数据源；需要自定义资源组；

ECS自建数据源：

• 有公网：支持测试连通性；需要jdbc url模式添加数据源；

• 经典网络：

  • 如果是和dataworks同region则，支持测试连通性，需要jdbc url模式添加数据源；
  • 如果是和dataworks不同region则，不支持测试连通性，需要jdbc url模式添加数据源；需要自定义资源组；
• 专有网络VPC内部地址：不支持测试连通性；需要jdbc url模式添加数据源；需要自定义资源组；

阿里云产品:

• 实例模式添加数据源：
  rds(mysql、postgresql、sqlserver)，polardb、drds、hybridb for mysql，hybridb for postgresql 支持反向vpc；redis，mongodb 支持实例模式添加数据源，还不支持反向vpc；
• 有公网：支持测试连通性；支持jdbcUrl模式添加数据源；
• 经典网络：如果是和dataworks同region则，支持测试连通性，需要jdbc url模式添加数据源；如果是和dataworks不同region则，不支持测试连通性，需要jdbc url模式添加数据源；需要自定义资源组；
• 专有网络VPC内部地址：不支持测试连通性；需要jdbc url模式添加数据源；需要自定义资源组；其他Region中心化服务的产品，如MaxCompute、oss、loghub等，有3种类型的endpoint，按需选择可用的即可。

注意：

• 数据源连接地址的选择，需要和任务配置模式(向导模式、脚本模式)，任务实际执行资源组(默认资源组，自定义资源组)配合，让运行任务的资源组具备数据源的访问能力。
• h hdfs数据源，由于数据存储特性，建议使用自定义资源组或独享资源组。
• 金融云的数据源，网络打通或者实例模式添加数据源，如果出现不通，建议考虑自定义资源组。

支持运行数据集成任务的3中类型的机器，每种类型支持的网络环境不同

• 默认资源组：经典网络同region，有公网，支持反向代理的数据源，支持反向vpc的数据源rds(mysql、postgresql、sqlserver)，polardb、drds、hybridb for mysql，hybridb for postgresql 支持反向vpc；
• 独享数据集成资源：vpc数据源
• 数据集成自定义资源组，支持所有网络环境数据源，但需要dataworkszh专业版及以上功能才支持。

如何确认任务运行在什么类型的资源组上

• 运行在默认的资源组上：

1. in Pipeline[ common_ group_xxxxxxxxx]

• 运行在数据集成自定义资源组上：

1. in Pipeline[ common_xxxxxxxxx]

• 运行在独享数据集成资源上：

1. in Pipeline[ common_S_res_group_xxx]

购买独享资源组后如何切换任务运行资源组

绑定资源组所属项目：

更换独享调度资源：

更换独享数据集成资源