ALTER-ROUTINE-LOAD

ALTER-ROUTINE-LOAD

Description

ALTER ROUTINE LOAD FOR [db.]job_name
[PROPERTIES(
    "prop1" = "val1",
    ...
)]
[FROM kafka(
    "prop1" = "val1",
    ...
)]

该命令用于修改一个 Routine Load 作业的属性。

只能修改处于暂停（PASUE）状态的 Routine Load 作业。

当前支持如下属性的修改：

1. 作业属性

   • desired_concurrent_number
   • max_error_number
   • max_batch_interval
   • max_batch_rows
   • max_batch_size
   • jsonpaths
   • json_root
   • num_as_string
   • fuzzy_parse
   • strip_outer_array
   • timezone
   • strict_mode

2. Kafka 属性

   • kafka_partitions
   • kafka_offsets
   • kafka_default_offsets
   • kafka_broker_list
   • kafka_topic
   • 自定义 property，如 property.group.id

关于以上属性的详细说明，请参见 ROUTINE-LOAD 手册。

Example

1. 修改作业的每批次消费数量，以及消费offset。

   ALTER ROUTINE LOAD FOR db1.job1
   PROPERTIES(
       "max_batch_interval" = "60",
       "max_batch_rows" = "1000000",
       "max_batch_size" = "500000",
   )
   FROM KFAK (
       "kafka_partitions" = "0,1,2",
       "kafka_offsets" = "2021-05-01 00:00:00, 2021-05-01 00:00:00, 2021-05-01 00:00:00"
   )

Keywords

ALTER, ROUTINE, LOAD

最佳实践

1. 从指定位置重新消费数据

   某些情况下，用户希望能够重新指定消费位置并重新消费数据，比如一些数据回溯等场景。此时可以先将当前需要修改的例行导入作业暂停。然后通过这个命令修改offset，再重启这个作业即可。