Redis+Hbase+RocketMQ 实际使用问题案例分享
内容简介:
需求
将Hbase数据,解析后推送到RocketMQ。
redis使用list数据类型,存储了需要推送的数据的RowKey及表名。
简单画个流程图就是:
分析及确定方案
Redis
明确list中元素结构{"rowkey":rowkey,"table":table}解析出rowkey;
一次取多个元素加快效率;
取了之后放入重试队列,并删除原来的元素;
处理数据永远是重试队列里的,成功之后删除,失败就加上重试次数并重新放回;
明确从list中取值所使用的redis命令;范围获取LRANGE;范围删除(留下指定范围的数据)LTRIM;判断list长度LLEN;加入listRPUSH;删除L...
查看原文
暂无评论...