刚才用100kb的小文本文件,用1000次循环,在我的本本上,对redis(via redis-py),mongodb(via py-mongo)和ZODB(Zope的数据库,OODB,直接使用key-value模式,没有依附其他数据结构)进行了小规模写入和读取测试。
发现一些结果,有些有点意外:
逐次写入:
也就是
for record in file:
db.insert(record)
db.save()
Mongodb没有强制将数据写入硬盘的函数,忽略。
ZODB没有异步模式,只能对每一条record调用一次commit,用了50秒。
Redis出奇地使用了约2分钟之多,我想是因为Redis的同步save设计还没不成熟的原因。(update:经过查阅文章,发现redis的save是以快照模式进行的,这就能解释为什么redis在逐次写入,同步保存情况下,如此耗时了。 http://redis.io/topics/persistence)
连续写入
也就是
for record in file:
db.insert(record)
db.save() # if exists
MongoDB和Redis两个都耗时一秒左右,MongoDB速度比Redis稍稍慢个零点几秒,考虑到Mongodb和Redis默认都是使用异步模式,速度相差不大,算是意料之中。
ZODB没有异步写入的方法,忽略。
读取
无索引情况下,ZODB是0.1x,Mongodb是1秒多,Redis是0.3秒。
有索引/缓存情况下,ZODB(在同一进程中对同一对象进行多次读取)是0.004秒;MongoDB仍是1秒多,比原来快了零点几秒;Redis是直接key-value,没有缓存,pass。
暂时总结
Redis的写入情况和MongoDB相似,但Redis的读取速度比MongoDB稍快。
MongoDB的索引似乎效果不大。
ZODB的读取速度惊人,秒杀MongoDB和Redis,但没有异步写入是它的硬伤,可尝试以扬长避短,考虑将它用在“读取多,写入小”的情况下。
详细数据
环境 Linux mypad 2.6.39-ARCH #1 SMP PREEMPT Tue Jun 7 05:49:02 UTC 2011 i686 Intel(R) Core(TM)2 Duo CPU T6570 @ 2.10GHz GenuineIntel GNU/Linux
条件,100kb文件,循环写入/读取1000次,每个测试方法是分开运行的,比如 python -m unittest testFile.TestCase.testMethod && python -m unittest ...
Zodb,同步,第一个是写入时间,第二个是无内存缓存的查询,第二个是有内存缓存的查询。
Ran 1 test in 50.151s
Ran 1 test in 0.038s
Ran 1 test in 0.003s
mongodb 异步,第一个是写入时间,第二个是无索引查询,第三个是建立索引的时间,第四个是带索引的查询
Ran 1 test in 1.450s
Ran 1 test in 1.159s
Ran 1 test in 0.002s
Ran 1 test in 1.137s
redis,默认设置(不带save或bgsave),后面是查询时间
Ran 1 test in 1.002s
Ran 1 test in 0.296s
redis,在所有数据写入之后调用save,后面是查询时间
Ran 1 test in 1.287s
Ran 1 test in 0.299s
redis,在所有数据写入之后调用bgsave,后面是查询时间
Ran 1 test in 1.004s
Ran 1 test in 0.323s
分享到:
相关推荐
主流的三种分布式数据库比较Memcached Redis MongoDB对比
高级分布式数据库教程,nosql,mongodb,redis。非常好的分布式教程!
mysql Redis MongoDB学习
详细介绍了redis、mongodb、zookeeper、memcache的安装过程。文档包含redis、mongodb、zookeeper、memcache的下载地址、详细安装方法、安装所遇到的问题以及解决办法、数据库的使用等。
windows下 redis mongodb mysql 从安装到使用 详解
5 结合 Redis + MongoDB 开发了一个分层数据模型 设计了一套 缓存 KEY 规则 实验测试 返回记录在一定范围内 可以大大增加接口的效率">最近开发了一套基于 Redis 缓冲层 + MongoDB 持久层的小框架 1 开发了一个高效的...
php apache mysql memcache redis mongodb
一款Linux、数据库、Redis、MongoDB统一管理平台.docx
php5.4.26 apache mysql memcache redis mongodb整套环境配置用到的包
1、里面包含Redis、MongoDB、Memcache相关的学习文档 2、对这三者有比较详细的应用场景告之,并描述出了三者之间区别 3、提供JAVA连接Redis常见问题的解决方案 4、对MongoDB的特性有专门文档作描述 5、对于新手而言...
MySql Oracle Redis Mycat MongoDB Memcached等数据库教程.zip
基于阿里云EMR的spark streaming连接kafka;使用redis、MongoDB的demo
springboot和dubbo、netty的集成,redis mongodb的nosql模板, kafka roc
基于springboot+vue+redis+mongodb+spark等大数据技术构建的图书推荐系统,课程设计项目,可用于毕设 后端 Spring Boot Redis MongoDB 前端 Vue Element-ui Axios 推荐服务 Spark Zookeeper Kafka Flume 任务调度 ...
基于SpringBoot + Mybatis + Thymeleaf +Redis+MongoDB+MySQL开发的商品管理系统。基于SpringBoot + Mybatis + Thymeleaf +Redis+MongoDB+MySQL开发的商品管理系统。基于SpringBoot + Mybatis + Thymeleaf +Redis+...
阿里云部署笔记(含Docker运行MySQL、Nacos、Redis、Minio、MongoDB容器)
MySQL、Redis、MongoDB 零基础到入门系统性学习(详)
springboot+springmvc+mybatis+redis+mongodb整合
结合公司的数据订阅系统进行 Redis缓存层 + MongoDB 持久层数据更新功能 9. 重构后的分层数据架构比原有接口效率提高 5 - 400 倍(返回数据记录条数从 150 - 5 条) 绝大部分时间后端接口需要获取记录个数在 50 以内...
mongodb+redis资源