Redis hyperloglog误判

HyperLogLog 是 Redis 的一种数据类型。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。HyperLogLog 的典型应用场景就是计算 uv。

但是 HyperLogLog 是存在误判的，官方介绍其标准误差为0.81%，所以如果你想精确的统计 uv，仅仅使用 HyperLogLog 是不够的。

我们不妨测试下：

import Redis
import hashlib


def md5(text: str):
    return hashlib.md5(text.encode()).hexdigest()


Redis_conn = Redis.Redis(host="localhost", port=6379, db=0)
Redis_conn.auth("123456")

for i in range(1000):
    if Redis_conn.pfadd("hyperloglog-test", md5(str(i))) == 0:
        print(i)

输出如下：

➜  user-sai git:(main) ✗ python3 codesnippets/python/hyperloglog.py
193
294
406
527
579
588
616
688
706
764
770
846
872
876
880
888
941
975
984
991

可以看到是有一些误判的。

因而，如果需要很精确地做类似去重计数任务， HyperLogLog 并不是一个好的方案，即便 HyperLogLog 又快又节省内存。

参考：

Redis new data structure: the HyperLogLog

本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议，转载请注明出处。