Flink1.12 SQL向Redis实时写数据

开发 项目管理 Redis
基于bahir-flink二次开发,使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。

[[410005]]

本文转载自微信公众号「肌肉码农」,作者邹学。转载本文请联系肌肉码农公众号。

插件名称:flink-connector-redis

插件地址:https://github.com/jeff-zou/flink-connector-redis.git

项目介绍

基于bahir-flink二次开发,使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。

使用方法:

命令行执行 mvn package -DskipTests=true打包后,将生成的包flink-connector-redis_2.12-1.11.1.jar引入flink lib中即可,无需其它设置。

重构介绍:

相对上一个版本简化了参数设置,思路更清晰,上一版本字段的值会根据主键等条件来自动生成,这要求使用者需要了解相关规则,有一定的学习成本并且容易埋坑,重构后字段的值由用户在DDL中显示地指定,如下:

  1. 'key-column'='username','value-column'='passport',' //直接指定字段名 

取消了必须有主键的限制,使用更简单,如果有多个字段组合成key或者value,需要用户在DML中使用concat_ws等方式组装,不再是插件在后台用不可见字符拼装。

使用示例:

  • 1.SQL方式

示例代码路径: src/test/java/org.apache.flink.streaming.connectors.redis.table.SQLInsertTest.java

set示例,相当于redis命令: set test test11

  1. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
  2.         EnvironmentSettings environmentSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); 
  3.         StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, environmentSettings); 
  4.  
  5.         String ddl = "create table sink_redis(username VARCHAR, passport VARCHAR) with ( 'connector'='redis', " + 
  6.                 "'host'='10.11.80.147','port'='7001', 'redis-mode'='single','password'='******','key-column'='username','value-column'='passport','command'='set')" ; 
  7.  
  8.         tEnv.executeSql(ddl); 
  9.         String sql = " insert into sink_redis select * from (values ('test', 'test11'))"
  10.         TableResult tableResult = tEnv.executeSql(sql); 
  11.         tableResult.getJobClient().get() 
  12.                 .getJobExecutionResult() 
  13.                 .get(); 
  • 2.DataStream方式

示例代码路径:

src/test/java/org.apache.flink.streaming.connectors.redis.datastream.DataStreamInsertTest.java

hset示例,相当于redis命令:hset tom math 150

  1. Configuration configuration = new Configuration(); 
  2.         configuration.setString(RedisOptions.KEY_COLUMN, "name"); 
  3.         configuration.setString(RedisOptions.FIELD_COLUMN, "subject"); //对应hash的field、 sorted set的score 
  4.         configuration.setString(RedisOptions.VALUE_COLUMN, "score"); 
  5.         configuration.setString(REDIS_MODE, REDIS_CLUSTER); 
  6.         configuration.setString(REDIS_COMMAND, RedisCommand.HSET.name()); 
  7.  
  8.         RedisMapper redisMapper = RedisHandlerServices 
  9.                 .findRedisHandler(RedisMapperHandler.class, configuration.toMap()) 
  10.                 .createRedisMapper(configuration); 
  11.  
  12.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
  13.  
  14.         GenericRowData genericRowData = new GenericRowData(3); 
  15.         genericRowData.setField(0, "tom"); 
  16.         genericRowData.setField(1, "math"); 
  17.         genericRowData.setField(2, "150"); 
  18.         DataStream<GenericRowData> dataStream = env.fromElements(genericRowData); 
  19.  
  20.         TableSchema tableSchema =  new TableSchema.Builder() .field("name", DataTypes.STRING().notNull()).field("subject", DataTypes.STRING()).field("score", DataTypes.INT()).build(); 
  21.  
  22.         FlinkJedisConfigBase conf = getLocalRedisClusterConfig(); 
  23.         RedisSink redisSink = new RedisSink<>(conf, redisMapper, tableSchema); 
  24.  
  25.         dataStream.addSink(redisSink); 
  26.         env.execute("RedisSinkTest"); 

 

 

责任编辑:武晓燕 来源: 肌肉码农
相关推荐

2021-06-30 09:20:08

数仓FlinkHive

2021-07-19 09:47:37

阿里云Flink 1.12资源管理

2024-04-09 10:02:13

Spring数据Redis

2021-07-16 10:55:45

数仓一体Flink SQL

2021-06-04 07:24:14

Flink CDC数据

2023-12-11 08:00:00

架构FlinkDruid

2022-07-20 23:15:11

Flink数据集CDC

2009-05-14 10:02:59

实时数据SQL Server商业智能

2021-03-10 08:22:47

FlinktopN计算

2022-05-12 09:02:47

Flink SQL数据类型

2019-12-19 14:38:08

Flink SQL数据流Join

2009-11-18 16:16:51

Oracle数据库

2021-07-13 07:04:19

Flink数仓数据

2009-01-06 11:31:34

SybaseSQL Server数据库

2021-12-09 06:59:24

FlinkSQL 开发

2009-08-12 17:02:16

.NET向SQL Se

2022-07-26 11:42:31

科大讯飞Flink数据仓库

2022-06-16 15:46:58

钱大妈云原生Flink

2021-03-02 09:15:24

MyBatisSQL数据库

2020-02-05 15:09:38

数据仓库数据中台OPPO
点赞
收藏

51CTO技术栈公众号