20240517 weekly

[chejinge]

1 Pika core(master & slave)

• Pika 主从复制一些经验教训 #2408 Pika 主从复制一些经验教训

Item	Priority	Issue/Pr	Owner	Description
redis cache 版本升级	P1	Upgrade: using Redis 7 as redis cache	chengbo & lifengtao	快完成
		降低Pika Compact碎片化监控频率，提升compact性能		houxinsheng 还在 coding
支持 tls	P2	#2380 #2378	kolin	Review 月财，还需要改进
codis dashboard call 3 times when got pika pool info, such as keep-alive & memory etc	P1	#2354	kolin	Yuecai
主从复制 bug 汇总	P0	#1835	bx	lcy，可以继续改进的在下面回复下
add cuckoo filter for redis cache	P2	#2261	PR pikiwidb/rediscache#6
353 测试，geohash 抛出异常	P2	#2392	liuhuan
PFADD 命令抛异常	P2	#2390	wangjunqiang	两周没响应，看下周处理进度
pika 添加命中率指标	P0	#2423		chenbt: 提交了1个PR https://github.com/OpenAtomFoundation/pika/pull/2579， yuecai&jinge 推进 review，待 merge 后继续实现其他监控参数
pika 支持 redis restore 指令	P0	pika 支持 redis restore 指令
pika 参数兼容 sentinel	P0	#2427
support unix domain socket for pika	P2	#2450	kolin
Ability to change hash to xxh3, xxhash, aead or murmur etc	P2	#2442	kolin
Support pub/sub in pika when replicated	P2	#2440	kolin
全量同步过程中，db_repl_state 的状态显示为 WaitDBSync，但是 master_link_status 状态为 down	P2	#2428	cjh
info replication 中的 db_repl_state 输出信息组织方式不够友好，建议优化	P2	#2514	cjh
主从复制老主降备手动 slaveof 的过程中会出现判断 sent_offset == acked_offset 的逻辑，当出现不相等的时候，会导致主从 slaveof ERROR 的情况	P1	#2512	cjh
pika 主从同步过程需要使用 term 判断是否需要全量同步	P1	#2365	cjh
进程退出时存在资源释放流程不正确	P1	#2286	cjh
Large keys are not stored in cache	P1	#2557		changshunyu，正在 coding
Improve the RTC process of Read/Write model	P1		chenbt	https://github.com/OpenAtomFoundation/pika/pull/2629，处理 ci 失败
Separate the fast and slow commands in the second phase, dynamically adjust the fast and slow command settings according to the access time, and dynamically adjust the number of coroutines and pika threads		#2566

todo：

• 1 存算分离 https://mp.weixin.qq.com/s/dV3A1_OFDXkMpDr-Vs71DQ

2 cluster

Item	Priority	Issue/Pr	Owner	Description
big key 熔断，借鉴 xcache		https://github.com/OpenAtomFoundation/pika/issues/1691，https://github.com/OpenAtomFoundation/pika/issues/2228	xuhaoliang, cjg 指导	#2646
在 codis 中添加 auto spliting	P1	#2564	sunjiajun	chejinge，还在 coding
codis-proxy 添加版本信息	P1	#2645	guoweijian	chejinge 指导
xcache todo

• 1 大 key 检测；
• 2 auto split：小帅了解下相关功能，分析 floyd 的缺陷
• 3 codis 熔断 Add: big key & top key #1691 大 key 熔断
• 4 codis 限流

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
染色日志

4 工具集

Item	Priority	Issue/Pr	Owner	Description
	P3	基于 ldb 命令做一个工具分析 sst 文件	瑞麟
		Pika 大数据同步工具		相关 bug 改进：https://github.com/OpenAtomFoundation/pika/pull/2306/files
		Pika 集群数据同步迁移工具		Bifrost 面向生产环境的 MySQL,MariaDB,kafka 同步到 Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka 等服务的异构中间件
Pika hot key 分析		#1691 #2169		todo：hot key
pika 同步大数据工具：同步到 kafka		#2606
Pika mget HMGET supports querying cache and disk when multiple keys are used		#2612

5 云原生

Item	Priority	Issue/Pr	Owner	Description
	马鑫外部推进，集群注册成功，rebalance 还没做，和珊珊交流做一做看 ，车金鸽、吴显荣内部推进	pika-operator on kubeblocks 现状总结及后续任务、思路	马鑫	Kubeblocks 0.8 已经发布：官方支持 component 多副本，在这个版本支持 pika 缩容
feat: pika supports kubeblocks component definition api	P0	#2411	马鑫

todo:

• 1 原地扩容磁盘可能有问题，chengyu 跟进
• 2 总的 任务 pika-operator on kubeblocks 现状总结及后续任务、思路 #1906

6 high quality(CI/CD) and high usability

Item	Priority	Issue/Pr	Owner	Description
		WIKI 配置信息能否补充大部分场景下的最优配置
tcl 单测跑不过	P0	#1605
test/unit type/hash 单测问题汇总	P0	#1623	｜｜	#2046, #1605
pika automated stress testing script	P1	#2503
A problem occurs during go integration testing	P1	#2492
添加 OpenEuler 测试	P1	#2630	wxx

7 Pika doc

• 文档建设：中文文档少，英文文档没有；
• 网站建设：wiki 搬到了 website；
• readme 建设
• WIKI 配置信息能否补充大部分场景下的最优配置 #2008

Item	Priority	Issue/Pr	Owner	Description
		build a pika website	ningjie

summer code

Item	Priority	Issue/Pr	Owner	Description
pika binlog 重构		https://summer-ospp.ac.cn/org/prodetail/247e50197?list=org&navpage=org		1 Pika 不 check binlog 是否落盘成功 2 master 与 slave 之间同步 binlog，可以确保有序，无法证明有没有丢某个 item 3 RocksDB WAL 是开着的
Pika-Operator		https://summer-ospp.ac.cn/org/prodetail/247e50199?list=org&navpage=org
Pika Vector		https://summer-ospp.ac.cn/org/prodetail/247e50200?list=org&navpage=org
Pika Transfer Proxy		https://summer-ospp.ac.cn/org/prodetail/247e50201?list=org&navpage=org
PikiwiDB Redis Cache		https://summer-ospp.ac.cn/org/prodetail/247e50203?list=org&navpage=org
PikiwiDB Cluster		https://summer-ospp.ac.cn/org/prodetail/247e50205?list=org&navpage=org
Codis Proxy(C++)		https://summer-ospp.ac.cn/org/prodetail/247e50206?list=org&navpage=org
Improve Pika		https://summer-ospp.ac.cn/org/prodetail/247e50207?list=org&navpage=org