分享好友 数据库首页 频道列表

MongoDB查询性能优化验证及验证

MongoDB  2016-04-27 16:000

结论:

1、 200w数据,合理使用索引的情况下,单个stationId下4w数据。mongodb查询和排序的性能理想,无正则时client可以在600ms+完成查询,qps300+。有正则时client可以在1300ms+完成查询,qps140+。

2、 Mongodb的count性能比较差,非并发情况下client可以在330ms完成查询,在并发情况下则需要1-3s。可以考虑估算总数的方法,http://blog.sina.com.cn/s/blog_56545fd30101442b.html

测试环境:mongodb使用 replica set,1主2从,96G内存,版本2.6.5

Mem消耗(4个200w数据的collection):


空间消耗(测试数据最终选定的collection):


Jvm: -Xms2G -Xmx2G

Ping延迟33ms

查询都使用ReadPreference.secondaryPreferred()

无正则

1、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:20000

查询条件:多条件查询10条记录,并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发:200

耗时:61566

单次耗时(server):124ms

Qps:324.85

2、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:20000

查询条件:多条件查询10条记录排序,并逐条获取记录

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并发:200

耗时:63187

单次耗时(server):119ms

Qps:316.52

3、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:2000

查询条件:多条件查询记录数

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); 
long count = collection.count(queryObject);

并发:200

耗时:21887

单次耗时(client):280ms

Qps:91.38

有正则

4、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:20000

查询条件:多条件查询10条记录,并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并发:200

耗时:137673

单次耗时(server):225ms

Qps:145.27

5、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:20000

查询条件:多条件查询10条记录排序,并逐条获取记录

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并发:200

耗时:138673

单次耗时(server):230ms

Qps:144.22

6、 创建stationId, firmId复合引查询场景(200w集合,12个字段)

查询次数:2000

查询条件:多条件查询记录数

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
long count = collection.count(queryObject);

并发:200

耗时:23155

单次耗时(client):330ms

Qps:86.37

MongoDB索引特点

1、 复合索引必须命中首字段,否则无法生效。后面的字段可以不按顺序命中。

2、 复合索引字段越多占用空间越大,但对查询性能影响不大(数组索引除外)。

3、 会根据sort字段选择索引,优先级超过复合索引中的非首字段。


4、 命中复合索引的情况下,数据量<10w的情况下,过滤非索引字段,效率也比较高。


5、 全文检索性能比较差,200w数据命中50w的情况下,全文检索需要10+s,正则需要1s。

MongoDB客户端配置,可以提出来做成spring注入,设置最大连接数什么的。

MongoClientOptions options =
MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2)
.connectionsPerHost(500).build();
mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700),
new ServerAddress("10.205.68.15", 8700),
new ServerAddress("10.205.69.13", 8700)), options);
mongoClient.setReadPreference(ReadPreference.secondaryPreferred());

mongoDB调研_结论.docx为最终场景下的测试数据,分为有正则和无正则。

mongoDB调研_remote.docx为测试验证过程中的数据,有可能存在缓存等情况,不一定准确,功参考。

关于MongoDB 查询优化原则的大家了解吗?下文给大家介绍下,具体内容如下所示:

1.在查询条件、排序条件、统计条件的字段上选择创建索引,可以显著提高查询效率。

2.用$or时把匹配最多结果的条件放在最前面,用$and时把匹配最 少 结果的条件放在最前面。

3.使用limit()限定返回结果集的大小,减少数据库服务器的资源消耗,以及网络传输的数据量。

4.尽量少用$in,而是分解成一个一个的单一查询。尤其是在分片上,$in会让你的查询去每一个分片上查一次,如果实在要用的话,先在每个分片上建索引。

5.尽量不用模糊匹配查询,用其它精确匹配查询代替,比如$in、$nin。

6.查询量大、并发大的情况,通过前端加缓存解决。

7.能不用安全模式的操作就不用安全模式,这样客户端没必要等待数据库返回查询结果以及处理异常,快了一个数量级。

8.MongoDB的智能查询优化,判断粒度为query条件,而skip和limit都不在其判断之中,当分页查询最后几页时,先用order反向排序。

9.尽量减少跨分片查询,balance均衡次数少。

10.只查询要使用的字段,而不查询所有字段。

11.更新字段的值时,使用$inc比update效率高。

12.apped collections比普通collections的读写效率高。

13.server-side processing类似于SQL查询的存储过程,可以减少网络通讯的开销。

14.必要时使用hint()强制使用某个索引查询。

15.如果有自己的主键列,则使用自己的主键列作为id,这样可以节约空间,也不需要创建额外的所以。

16.使用explain,根据exlpain plan进行优化。

17.范围查询的时候尽量用$in、$nin代替。

18.查看数据库查询日志,具体分析的效率低的操作。

19.mongodb有一个数据库优化工具database profiler,能够检测数据库操作的性能。可以发现query或者write操作中执行效率低的,从而针对这些操作进行优化。

20.尽量把更多的操作放在客户端,当然这就是mongodb设计的理念之一。

查看更多关于【MongoDB】的文章

展开全文
相关推荐
反对 0
举报 0
评论 0
图文资讯
热门推荐
优选好物
更多热点专题
更多推荐文章
MongoDB快速入门笔记(二)之MongoDB的概念及简单操作
MongoDB是面向集合的文档式数据库,不像关系数据库那样,有表,列、行,mongoDB数据库则是由一系列的文档组成。接下来通过本文给大家介绍MongoDB的概念及简单操作,一起看看吧

0评论2016-06-20133

windows下mongodb安装与使用图文教程(整理)
这篇文章主要介绍了windows下mongodb安装与使用图文教程(整理)的相关资料,需要的朋友可以参考下

0评论2016-06-20156

Mongodb中MapReduce实现数据聚合方法详解
Mongodb是针对大数据量环境下诞生的用于保存大数据量的非关系型数据库,针对大量的数据。接下来通过本文给大家介绍Mongodb中MapReduce实现数据聚合方法详解,感兴趣的朋友一起学习吧

0评论2016-06-20180

Mongodb聚合函数count、distinct、group如何实现数据聚合操作
Mongodb中自带的基本聚合函数有三种:count、distinct和group。下面我们分别来讲述一下这三个基本聚合函数及如何实现数据聚合操作,感兴趣的朋友一起学习吧

0评论2016-06-20213

MongoDB快速入门笔记(六)之MongoDB的文档修改操作
这篇文章主要介绍了MongoDB快速入门笔记(六)之MongoDB的文档修改操作的相关资料,需要的朋友可以参考下

0评论2016-06-20195

MongoDB快速翻页的方法
这篇文章主要为大家详细介绍了MongoDB快速翻页的方法,通过实例学习在MongoDB中翻阅数据的不同方式,感兴趣的小伙伴们可以参考一下

0评论2016-06-20219

MongoDB快速入门笔记(一)之windows下安装MongoDB方法
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。本文重点给大家介绍MongoDB快速入门笔记(一)之windows下安装MongoDB方法,非常不错具有参考借鉴价值,感兴趣的朋友一起看下吧

0评论2016-06-20175

MongoDB快速入门笔记(六)之MongoDB删除文档操作
这篇文章主要介绍了MongoDB快速入门笔记(六)之MongoDB删除文档操作 的相关资料,需要的朋友可以参考下

0评论2016-06-20119

Windows或Linux系统中备份和恢复MongoDB数据的教程
不得不说MongoDB的备份回复操作对比其他数据库来说真的算得上是简便的,无论是在Windows的命令行中或者是Linux里的脚本执行,这里我们就来看一下Windows或Linux系统中备份和恢复MongoDB数据的教程

0评论2016-06-20192

MongoDB快速入门笔记(七)MongoDB的用户管理操作
这篇文章主要介绍了MongoDB快速入门笔记(七)MongoDB的用户管理操作 的相关资料,需要的朋友可以参考下

0评论2016-06-20193

MongoDB快速入门笔记(四)之MongoDB查询文档操作实例代码
MongoDB 是一个基于分布式文件存储的数据库。接下来通过本文给大家介绍MongoDB快速入门笔记(四)之MongoDB查询文档操作实例代码,感兴趣的朋友一起学习吧

0评论2016-06-20120

MongoDB快速入门笔记(三)之MongoDB插入文档操作
这篇文章主要介绍了MongoDB快速入门笔记(三)之MongoDB插入文档操作 的相关资料,非常不错具有参考借鉴价值,需要的朋友可以参考下

0评论2016-06-20120

MongoDB 学习笔记(一)-MongoDB配置
MongoDB 是一个基于分布式文件存储的数据库。接下来通过本文给大家介绍MongoDB 学习笔记(一)MongoDB配置的相关资料,需要的朋友可以参考下

0评论2016-06-20173

MongoDB实现基于关键词的文章检索功能(C#版)
这篇文章主要介绍了MongoDB实现基于关键词的文章检索功能(C#版)的相关资料,需要的朋友可以参考下

0评论2016-04-2791

MongoDB单表数据的导出和恢复实例讲解
MongoDB 是一个跨平台的,面向文档的数据库,提供高性能,高可用性和可扩展性方便。 MongoDB 工作在收集和文件的概念。接下来通过本文给大家介绍MongoDB单表数据的导出和恢复实例讲解,对mongodb导出和恢复数据知识感兴趣的朋友一起学习吧

0评论2016-04-27196

MongoDB中的主从同步配置和mongod相关启动命令讲解
这篇文章主要介绍了MongoDB中的主从同步配置和mongod相关启动命令讲解,文中也罗列了很多其他常用的mongod命令参数,需要的朋友可以参考下

0评论2016-04-27166

JavaScript按日期查询MongoDB中的数据的要点示例
这篇文章主要介绍了JavaScript按日期查询MongoDB中数据的要点示例,MongoDB所支持的BSON有JSON没有的一些数据类型,如Date和BinData类型,需要的朋友可以参考下

0评论2016-04-27136

MongoDB性能篇之创建索引,组合索引,唯一索引,删除索引和explain执行计划
这篇文章主要介绍了MongoDB性能篇之创建索引,组合索引,唯一索引,删除索引和explain执行计划的相关资料,需要的朋友可以参考下

0评论2016-04-27364

MongoDB分片测试
分片是mongoDB扩展的一种方式。分片分割一个collection并将不同的部分存储在不同的机器上,本文给大家介绍MongoDB分片测试,需要的朋友参考下吧

0评论2016-04-27137

MongoDB性能优化及监控
MongoDB 是一个基于分布式文件存储的数据库。接下拉通过本文给大家分享MongoDB性能优化及监控,本文介绍的非常详细,非常具有参考借鉴价值,感兴趣的朋友一起学习吧

0评论2016-04-27106

更多推荐