作者:无谓 阿里巴巴高级技术专家,2008年加入阿里巴巴集团,先后在B2B和阿里云工作,一直从事大数据和分布式计算相关研究,作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大,现在阿里云EMR团队,负责Spark、Hadoop等计算引擎研发。
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis。
创建服务
我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群安装的Spark版本是2.4.3,我们需要使用对应的Spark-Redis 2.4版本,该组件可以支持Redis 2.9.0以上版本。
EMR和Redis需要在同一个VPC网络中创建,同时,在云数据库Redis实例启动之后,需要在“白
继续阅读与本文标签相同的文章
-
史上最强攻略!手把手教你建「数据中台」!
2026-05-20栏目: 教程
-
信息安全意识-密码安全
2026-05-20栏目: 教程
-
面向对象编程
2026-05-20栏目: 教程
-
新能力丨无需开发,即搜即得,支付宝小程序“服务直达”开放公测
2026-05-20栏目: 教程
-
阿里云服务器优惠活动精选汇总(不限CPU性能+1核2G1M3年1000元)
2026-05-20栏目: 教程
