博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
OTSReader自己定义切分主键
阅读量:5955 次
发布时间:2019-06-19

本文共 3319 字,大约阅读时间需要 11 分钟。

该配置项属于高级配置项,是用户自己定义切分配置信息,普通情况下不建议用户使用。

适用场景通常在OTS数据存储发生热点,使用OTSReader自动切分的策略不能生效情况下,使用用户自定义的切分规则。split指定是的在Begin、End区间内的切分点,且只能是partitionKey的切分点信息,即在split仅配置partitionKey,而不需要指定全部的PrimaryKey。

例如对一张主键为id01、id02的OTS进行抽取任务,主键是数据0~90可以配置为:

{"job": {       "setting": {           "speed": {               "byte": 1048576           },           "errorLimit": {               "record": 0,               "percentage": 0.02           }       },       "content": [           {               "reader": {                   "name": "otsreader-internal",                   "parameter": {                       "mode": "multiVersion",                       "endpoint": "http://datax-internal.cn-hangzhou.ots.aliyuncs.com/",                       "accessId": "xxxxxxxxxxxxxxxx",                       "accessKey": "yyyyyyyyyyyyyy",                       "instanceName": "datax-internal",                       "table": "datax_ots_reader_internal_test_table",                       "range": {                           "begin": [                               {                                   "type": "INF_MIN",//主键id01最小值                                   "value": ""                               },                               {                                   "type": "INF_MIN",//主键id02最小值                                   "value": ""                               }                           ],                           "end": [                               {                                   "type": "INF_MAX",//指定 id01 抽取最大值                                   "value": ""                               },                               {                                   "type": "INF_MIN",//指定 id02 抽取最大值                                   "value": ""                               }                           ],                           "split": [            // 用户指定的切分点,如果指定了切分点,Job 将按照 begin、end 和 split 进行 Task 的切分,           // 切分的列只能是 Partition Key(ParimaryKey 的第一列)           // 支持 INF_MIN, INF_MAX, STRING, INT                                          {                                   "type": "int",                                   "value": "30"                               },                               {                                   "type": "int",                                   "value": "60"                               },                               {                                   "type": "int",                                   "value": "90"                               }                           ]                       },                       "column": [                           {                               "name": "name"                           },                           {                               "name": "mobile"                           },                           {                               "name": "age"                           },                           {                               "name": "salary"                           },                           {                               "name": "marry"                           }                       ]                   }               },               "writer": {                   "name": "txtfilewriter",                   "parameter": {}               }           }       ]   }}

转载地址:http://hirxx.baihongyu.com/

你可能感兴趣的文章
java与xml
查看>>
Javascript异步数据的同步处理方法
查看>>
iis6 zencart1.39 伪静态规则
查看>>
SQL Server代理(3/12):代理警报和操作员
查看>>
Linux备份ifcfg-eth0文件导致的网络故障问题
查看>>
2018年尾总结——稳中成长
查看>>
JFreeChart开发_用JFreeChart增强JSP报表的用户体验
查看>>
度量时间差
查看>>
通过jsp请求Servlet来操作HBASE
查看>>
Shell编程基础
查看>>
Shell之Sed常用用法
查看>>
3.1
查看>>
校验表单如何摆脱 if else ?
查看>>
<气场>读书笔记
查看>>
web安全问题分析与防御总结
查看>>
Centos下基于Hadoop安装Spark(分布式)
查看>>
3D地图的定时高亮和点击事件(基于echarts)
查看>>
mysql开启binlog
查看>>
设置Eclipse编码方式
查看>>
分布式系统唯一ID生成方案汇总【转】
查看>>