MongoDB，SpringBoot，SpringDataMongoDB

双刃剑MongoDB的学习和避坑

MongoDB 是一把双刃剑，它对数据结构的要求并不高。数据通过key-value的形式存储，而value的值可以是字符串，也可以是文档。所以我们在使用的过程中非常方便。正是这种方便给我们埋下了一颗颗地雷。当内嵌的文档太深，或者内嵌文档有相同的属性名。你会被炸得很惨。本章节通过 MongoDB简介，Shell编程，SpringBoot整合MongoDB，工作中注意事项，四个方面介绍MongoDB的使用。让你轻松入门，轻松避坑。还在等什么，赶快来学习吧！

技术：MongoDB，SpringBoot，SpringDataMongoDB
说明：本章重点介绍MongoDB的使用，对非关系型数据库的介绍会比较简单。完整代码和相关sql请移步github，ths！
源码：https://github.com/ITDragonBlog/daydayup/tree/master/MongoDB

MongoDB 简介

MongoDB 是非关系型数据库中，最接近关系型数据库的，文档型数据库。它支持的查询功能非常强大。
MongoDB 是为快速开发互联网Web应用而设计的数据库系统。他的数据模型是面向文档的，这种文档是一种类似于JSON的结构，准确来说是一种支持二进制的BSON(Binary JSON)结构。

非关系性数据库

非关系性数据库也被称为 NoSQL(Not only sql)，主要有四大类：键值存储数据库、列存储数据库、文档型数据库、图形数据库。之前介绍的Redis属于键值存储数据库。

关系与非关系型数据库

关系型数据库的优点：
1 支持事务处理，事务特性：原子性、一致性、隔离性、持久性。
2 数据结构清晰，便于理解，可读性高。
3 使用方便，有标准的sql语法。

关系型数据库的缺点：
1 读写性能相对较差，为保证事务的一致性，需要一定的开销。在高并发下表现的尤为突出。
2 表结构固定，不易于表后期的扩展，所以前期对表的设计要求较高。

非关系型数据库的优点：
1 读写性能高，没有保障数据的一致性。
2 表结构灵活，表结构并不是固定的，通过key-value存储数据，value又可以存储其他格式的数据。

两者的优缺点其实是向反的，一件事物不会凭空出现，都是在原有的基础上做了补充和优化，两者的侧重点各有不同。就像MySQL保障了数据的一致性，却影响了读写的性能。MongoDB放弃数据的强一致性，保障了读写的效率。在合适的场景使用合适的数据库，是需要我们考虑的。
1 对于需要高度事务特性的系统，比如和钱有关的，银行系统，金融系统。我们要考虑使用关系型数据库，确保数据的一致性和持久性。
2 对于那些数据并不是很重要，访问量又很大的系统，比如电商平台的商品信息。我们可以使用非关系型数据库来做缓存，充分提高了系统查询的性能。

这里对银行和金融我想抱怨两句：
第一：投资理财千万不要选择小平台金融公司，收益再高都是虚假的，多半都是圈钱跑路的，钱的教训。
第二：某些银行APP显示的金额不是实时的。16年某生银行卡转入40万，但在我的总资产界面并没有转入的金额，吓得我一身冷汗。颤抖着双手给客服打了几个电话才知道，某生银行APP的总资产界面数据是统计前一天的。直到第二天，金额才显示正确。从此我再也没有用某生的银行卡。某商的信用卡也是一样，还了钱金额并没有减下来。不知道现在有没有改。

有在银行工作的朋友，能否告诉我这样设计的原因是啥？难道用户体验不重要？还是要体现客服的价值？反正，这锅我们程序员不背。

Mongodb Shell 编程

查询数据

Mongodb的查询功能十分强大，有find() 和 findOne()。支持的查询条件有：$lt、$lte、$gt、$gte、$ne、$or、$in、$nin、$not、$exists、$and、正则表达式等。

db.collection.find() 根据查询条件返回所有文档
db.collection.findOne() 根据查询条件返回第一个文档

查询建议：
1 查询所有数据，建议使用分页查询。
2 查询key建议用引号，对象的属性可以省略引号，内嵌的对象属性不能省略。比如下面的name可以省略，但address.province则不能。
3 尽量少用$or, $in 查询，效率很低。

// 查询所有(不推荐，一般使用分页查询)
db.itdragonuser.find();
{"_id":ObjectId("5a9bbefa2f3fdfdf540a1be7"),"name":"ITDragon","age":25,"address":{"province":"广东省","city":"深圳"},"ability":["JAVA"]} // 等于查询 db.itdragonuser.find({"name":"ITDragon"}); // 模糊查询 db.itdragonuser.find({"name":/ITDragon/}); // 或者查询 db.itdragonuser.find({$or:[{"address.province":"湖北"},{"address.province":"湖南"}]}); // 包含查询(包含了JAVA或者HTML) db.itdragonuser.find({"ability":{$in:["JAVA","HTML"]}}); // 不包含查询(JAVA和HTML都不包含) db.itdragonuser.find({"ability":{$nin:["JAVA","HTML"]}}); // 范围查询$gt , $lt , $gte , $lte , $ne db.itdragonuser.find({"age":{$gt:25}}); // 正则表达式查询(查询以WeiXin结尾的数据) db.itdragonuser.find({"name":/WeiXin$/}); // 按照条件统计数据 db.itdragonuser.count({"name":/ITDragon/}); // 过滤重复内容(打印不重复的name值) db.itdragonuser.distinct("name"); // sort：排序(1表示升序 -1表示降序)，skip：跳过指定数量，limit：每页查询数量 db.itdragonuser.find().sort({"age":1}).skip(2).limit(3); // 字段投影，(0表示不显示，1表示显示) db.itdragonuser.find({},{_id:0,name:1,address:1,aliblity:1});

插入数据

插入数据比较简单，insert() 可以向集合插入一个或多个文档，而insertOne() 和 insertMany() 细化了insert() 方法，语法是一样的，命名规则上更清晰。

db.collection.insert() 可以向集合中插入一个或多个文档
db.collection.insertOne() 向集合中插入一个文档
db.collection.insertMany()向集合中插入多个文档

插入建议：
1 插入数据不能破坏原有的数据结构，造成不必要的麻烦。
2 批量插入数据，尽量一次执行多个文档，而不是多个文档执行多次方法。

// 插入一条数据，类型有字符串，数字，对象，集合
db.itdragonuser.insert({"name":"ITDragon","age":24,"address":{"province":"广东","city":"深圳"},"ability":["JAVA","HTML"]}) // 插入多条数据 db.itdragonuser.insert([ {"name":"ITDragon","age":24,"address":{"province":"广东","city":"深圳"},"ability":["JAVA","HTML"]}, {"name":"ITDragonGit","age":24,"address":{"province":"湖北","city":"武汉"},"ability":["JAVA","HTML","GIT"]} ])

更新数据

更新数据时，需要确保value的数据结构，是字符串，是集合，还是对象，不能破坏原有的数据结构。尽量使用修改器来帮忙完成操作。

db.collection.update() 可以修改、替换集合中的一个或多个文档，默认修改第一个，若要修改多个，则需要使用multi:true
db.collection.updateOne() 修改集合中的一个文档
db.collection.updateMany() 修改集合中的多个文档
db.collection.replaceOne() 替换集合中的一个文档

常用的修改器：
$inc : 数值类型属性自增
$set : 用来修改文档中的指定属性
$unset : 用来删除文档的指定属性
$push : 向数组属性添加数据
$addToSet : 向数组添加不重复的数据

更新建议：
1 更新数据不能破坏原有的数据结构。
2 正确使用修改器完成更新操作。

// 更新字符串属性
db.itdragonuser.update({"name":"ITDragonGit"},{$set:{"name":"ITDragon"}}); // 更新对象属性 db.itdragonuser.update({"name":"ITDragon"},{$set:{"address.province":"广东省"}}); // 更新集合属性 db.itdragonuser.update({"name":"ITDragon"},{$push:{"ability":"MONGODB"}}); // 批量更新属性 db.itdragonuser.updateMany({"name":"ITDragon"},{$set:{"age":25}}); // 批量更新属性，加参数multi:true db.itdragonuser.update({"name":"ITDragon"},{$set:{"age":25}},{multi:true});

删除数据

删除数据是一个非常谨慎的操作，实际开发中不会物理删除数据，只是逻辑删除。方便数据恢复和大数据分析。这里只简单介绍。

db.collection.remove() 删除集合中的一个或多个文档（默认删除多个）
db.collection.deleteOne() 删除集合中的一个文档
db.collection.deleteMany() 删除集合中的多个文档

SpringBoot MongoDB 整合

如果你觉得Spring整合MongoDB略显麻烦，那SpringBoot整合MongoDB就是你的福音。SpringBoot旨在零配置，只需简单的两个步骤即可。
第一步：在pom.xml文件中添加spring-boot-starter-data-mongodb。

<dependency>    <!-- 添加对mongodb的支持 --> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency>

第二步：在application.properties文件中配置MongoDB数据库链接地址。
链接MongoDB数据库地址规则：spring.data.mongodb.uri=mongodb://account:password@ip:port/database
其中 account和password方便是链接数据库的账号和密码。而database是需要链接的数据库地址

# 没有账号密码可以简写
spring.data.mongodb.uri=mongodb://localhost:27017/itdragonstu

Spring Data MongoDB 编程

Spring Data给我们提供了MongoTemplate类，极大的方便了我们的工作，但是若每个实体类都基于MongoTemplate重写一套CRUD的实现类，似乎显得有些笨重。于是我们可以将其简单的封装一下。步骤如下

第一步：创建用户实体类，其数据库表名就是类名首字母小写。
第二步：封装MongoTemplate类，实现增删改查，分页，排序，主键自增等常用功能。
第三步：创建封装类的Bean管理类，针对不同的实体类，需要配置不同的bean。
第四步：创建测试类，测试：注册，更新，分页，排序，查询用户功能。

创建用户实体类

用户实体类有五个字段，除了主键ID，其他四个分别代表四个常用的类型(字符串，数字，对象，集合)。为了简化开发，实体类建议不实用@Document注解重命名User在MongoDB数据库中的表名。
省略get/set方法和toString方法

import java.io.Serializable;
import java.util.ArrayList;
import org.springframework.data.annotation.Id; import org.springframework.data.mongodb.core.mapping.Document; /**  * 用户实体类  * @author itdragon  */ //@Document(collection = "itdragon_user") 如果为了代码的通用性，建议不要使用 public class User implements Serializable{ private static final long serialVersionUID = 1L; @Id private Long id; private String name; private Integer age; private Address address; private ArrayList ability; } public class Address{ private Long id; private String province; private String city; }

封装MongoTemplate类

SpringData提供的MongoTemplate类，极大的方便我们操作MongoDB数据库。可是它的很多方法都涉及到了Class，和CollectionName。针对不同的实体类，我们需要重复写不同的方法。这里，我们进一步封装，实现代码的高可用。
实现的思路大致：将Class作为一个参数，在初始化MongoTemplate的封装类时赋值。这里有一个约束条件是：CollectionName是Class类名的首字母小写。

import java.util.List;
import java.util.Map;
import org.apache.commons.beanutils.BeanUtils; import org.apache.commons.lang3.StringUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.domain.Sort; import org.springframework.data.mongodb.core.MongoTemplate; import org.springframework.data.mongodb.core.query.Criteria; import org.springframework.data.mongodb.core.query.Query; import org.springframework.data.mongodb.core.query.Update; import org.springframework.stereotype.Repository; import com.mongodb.BasicDBObject; import com.mongodb.DBCollection; import com.mongodb.DBObject; @Repository @SuppressWarnings({"unchecked", "rawtypes"}) public class ITDragonMongoHelper { @Autowired(required = false) private MongoTemplate mongoTemplate; private Class entityClass; // 实体类 private String collectionName; // 数据库表名 private String orderAscField; // 升序字段 private String orderDescField; // 降序字段 private static final String ID = "id"; private static final String MONGODB_ID = "_id"; public ITDragonMongoHelper() { } public ITDragonMongoHelper(Class entityClass) { this.entityClass = entityClass; this.collectionName = _getCollectionName(); } public ITDragonMongoHelper(Class entityClass, String collectionName) { this.entityClass = entityClass; this.collectionName = collectionName; } /**  * @Title save  * @Description 通过Map创建实体类  * @param object Map，无需自带ID  * @return  */ public Boolean save(Map<String, Object> requestArgs) { try { Object object = getEntityClass().newInstance(); if (null == requestArgs.get(ID)) { requestArgs.put(ID, getNextId()); } BeanUtils.populate(object, requestArgs); saveOrUpdate(object); } catch (Exception e) { e.printStackTrace(); return Boolean.valueOf(false); } return Boolean.valueOf(true); } /**  * @Title save  * @Description 通过对象创建实体类  * @param object 实体类，需自带ID  * @return  */ public Boolean saveOrUpdate(Object object) { try { this.mongoTemplate.save(object, this.collectionName); } catch (Exception e) { e.printStackTrace(); return Boolean.valueOf(false); } return Boolean.valueOf(true); } /**  * @Title update  * @Description 通过Map更新实体类具体字段，可以减少更新出错字段，执行的销率更高，需严格要求数据结构的正确性  * @param requestArgs Map，需自带ID， 形如：{id: idValue, name: nameValue, ....}  * @return  */ public Boolean update(Map<String, Object> requestArgs) { Object id = requestArgs.get(ID); if (null == id) { return Boolean.valueOf(false); } try { Update updateObj = new Update(); requestArgs.remove(ID); for (String key : requestArgs.keySet()) { updateObj.set(key, requestArgs.get(key)); } findAndModify(Criteria.where(ID).is(id), updateObj); } catch (Exception e) { e.printStackTrace(); return Boolean.valueOf(false); } return Boolean.valueOf(true); } /**  * @Title find  * @Description 根据查询条件返回所有数据，不推荐  * @param criteria 查询条件  * @return  */ public List find(Criteria criteria) { Query query = new Query(criteria); _sort(query); return this.mongoTemplate.find(query, this.entityClass, this.collectionName); } /**  * @Title find  * @Description 根据查询条件返回指定数量数据  * @param criteria 查询条件  * @param pageSize 查询数量  * @return  */ public List find(Criteria criteria, Integer pageSize) { Query query = new Query(criteria).limit(pageSize.intValue()); _sort(query); return this.mongoTemplate.find(query, this.entityClass, this.collectionName); } /**  * @Title find  * @Description 根据查询条件分页返回指定数量数据  * @param criteria 查询条件  * @param pageSize 查询数量  * @param pageNumber 当前页数  * @return  */ public List find(Criteria criteria, Integer pageSize, Integer pageNumber) { Query query = new Query(criteria).skip((pageNumber.intValue() - 1) * pageSize.intValue()).limit(pageSize.intValue()); _sort(query); return this.mongoTemplate.find(query, this.entityClass, this.collectionName); } public Object findAndModify(Criteria criteria, Update update) { // 第一个参数是查询条件，第二个参数是需要更新的字段，第三个参数是需要更新的对象，第四个参数是MongoDB数据库中的表名 return this.mongoTemplate.findAndModify(new Query(criteria), update, this.entityClass, this.collectionName); } /** * @Title findById * @Description 通过ID查询数据 * @param id 实体类ID * @return */ public Object findById(Object id) { return this.mongoTemplate.findById(id, this.entityClass, this.collectionName); } /** * @Title findOne * @Description 通过查询条件返回一条数据 * @param id 实体类ID * @return */ public Object findOne(Criteria criteria) { Query query = new Query(criteria).limit(1); _sort(query); return this.mongoTemplate.findOne(query, this.entityClass, this.collectionName); } // id自增长 public String getNextId() { return getNextId(getCollectionName()); } public String getNextId(String seq_name) { String sequence_collection = "seq"; String sequence_field = "seq"; DBCollection seq = this.mongoTemplate.getCollection(sequence_collection); DBObject query = new BasicDBObject(); query.put(MONGODB_ID, seq_name); DBObject change = new BasicDBObject(sequence_field, Integer.valueOf(1)); DBObject update = new BasicDBObject("$inc", change); DBObject res = seq.findAndModify(query, new BasicDBObject(), new BasicDBObject(), false, update, true, true); return res.get(sequence_field).toString(); } privatevoid_sort(Query query) { if (null != this.orderAscField) { String[] fields = this.orderAscField.split(","); for (String field : fields) { if (ID.equals(field)) { field = MONGODB_ID; } query.with(new Sort(Sort.Direction.ASC, new String[] { field })); } } else { if (null == this.orderDescField) { return; } String[] fields = this.orderDescField.split(","); for (String field : fields) { if (ID.equals(field)) { field = MONGODB_ID; } query.with(new Sort(Sort.Direction.DESC, new String[] { field })); } } } // 获取Mongodb数据库中的表名，若表名不是实体类首字母小写，则会影响后续操作 private String _getCollectionName() { String className = this.entityClass.getName(); Integer lastIndex = Integer.valueOf(className.lastIndexOf(".")); className = className.substring(lastIndex.intValue() + 1); return StringUtils.uncapitalize(className); } public Class getEntityClass() { return entityClass; } publicvoidsetEntityClass(Class entityClass) { this.entityClass = entityClass; } public String getCollectionName() { return collectionName; } publicvoidsetCollectionName(String collectionName) { this.collectionName = collectionName; } public String getOrderAscField() { return orderAscField; } publicvoidsetOrderAscField(String orderAscField) { this.orderAscField = orderAscField; } public String getOrderDescField() { return orderDescField; } publicvoidsetOrderDescField(String orderDescField) { this.orderDescField = orderDescField; } }

创建封装类的Bean管理类

这里用Bean注解修饰的方法名和测试类中ITDragonMongoHelper 的变量名要保持一致。这样才能具体知道是哪个实体类的数据操作。

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import com.itdragon.pojo.User; import com.itdragon.repository.ITDragonMongoHelper; /**  * ITDragonMongoHelper的bean配置管理类   * @author itdragon  */ @Configuration public class MongodbBeansConfig { @Bean // 该方法名很重要 public ITDragonMongoHelper userMongoHelper() { return new ITDragonMongoHelper(User.class); } }

MongoDB的测试类

主要测试MongoDB保存数据，更新字符串，更新数值，更新对象（文档），更新集合，分页查询几个常用方法。

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List; import java.util.Map; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.mongodb.core.query.Criteria; import org.springframework.test.context.junit4.SpringRunner; import com.itdragon.StartApplication; import com.itdragon.pojo.Address; import com.itdragon.pojo.User; import com.itdragon.repository.ITDragonMongoHelper; /**  * @RunWith 它是一个运行器  * @RunWith(SpringRunner.class) 表示让测试运行于Spring测试环境，不用启动spring容器即可使用Spring环境  * @SpringBootTest(classes=StartApplication.class) 表示将StartApplication.class纳入到测试环境中，若不加这个则提示bean找不到。  * @author itdragon  */ @RunWith(SpringRunner.class) @SpringBootTest(classes=StartApplication.class) public class SpringbootStudyApplicationTests { @Autowired private ITDragonMongoHelper userMongoHelper; // 命名规则：需和MongodbBeansConfig配置Bean的方法名一致 @Test public void createUser() { System.out.println("^^^^^^^^^^^^^^^^^^^^^^createUser"); for (int i = 0; i < 25; i++) { // 插入25条数据 User user = new User(); user.setId(Long.valueOf(userMongoHelper.getNextId(User.class.getName()))); user.setAge(25 + i); user.setName("itdragon-" + i); Address address = new Address(); address.setId(Long.valueOf(userMongoHelper.getNextId(Address.class.getName()))); address.setProvince("湖北省"); address.setCity("武汉市"); user.setAddress(address); ArrayList<String> ability = new ArrayList<>(); ability.add("Java"); user.setAbility(ability); userMongoHelper.saveOrUpdate(user); System.out.println("user : " + user.toString()); } } @Test public void updateUserName() { System.out.println("^^^^^^^^^^^^^^^^^^^^^^updateUserName"); Map<String, Object> updateMap = new HashMap<>(); // 查询name为itdragon-1的数据，将name修改为ITDragonBlog User user = (User) userMongoHelper.findOne(Criteria.where("name").is("itdragon-1")); if (null == user) { System.out.println("^^^^^^^^^^^^^^^^^^^^^^User non-existent"); return ; } updateMap.put("id", user.getId()); updateMap.put("name", "ITDragonBlog"); userMongoHelper.update(updateMap); } @Test public void updateUserAddress() { System.out.println("^^^^^^^^^^^^^^^^^^^^^^updateUserAddress"); Map<String, Object> updateMap = new HashMap<>(); User user = (User) userMongoHelper.findOne(Criteria.where("name").is("itdragon-3")); if (null == user) { System.out.println("^^^^^^^^^^^^^^^^^^^^^^User non-existent"); return ; } Address address = new Address(); address.setId(Long.valueOf(userMongoHelper.getNextId(Address.class.getName()))); address.setProvince("湖南省"); address.setCity("长沙"); updateMap.put("id", user.getId()); updateMap.put("address", address); userMongoHelper.update(updateMap); } @Test public void updateUserAbility() { System.out.println("^^^^^^^^^^^^^^^^^^^^^^updateUserAbility"); Map<String, Object> updateMap = new HashMap<>(); User user = (User) userMongoHelper.findOne(Criteria.where("name").is("itdragon-4")); if (null == user) { System.out.println("^^^^^^^^^^^^^^^^^^^^^^User non-existent");; return ; } ArrayList<String> abilitys = user.getAbility(); abilitys.add("APP"); updateMap.put("id", user.getId()); updateMap.put("ability", abilitys); userMongoHelper.update(updateMap); } @Test public void findUserPage() { System.out.println("^^^^^^^^^^^^^^^^^^^^^^findUserPage"); userMongoHelper.setOrderAscField("age"); // 排序 Integer pageSize = 5; // 每页页数 Integer pageNumber = 1; // 当前页 List<User> users = userMongoHelper.find(Criteria.where("age").gt(25), pageSize, pageNumber); // 查询age大于25的数据 for (User user : users) { System.out.println("user : " + user.toString()); } } }

MongoDB开发注意事项

MongoDB对表结构要求不严，方便了我们的开发，同时也提高了犯错率，特别是公司来了新同事，这颗地雷随时都会爆炸。
第一点： MongoDB通过key获取value的值。而这个value可以是内嵌的其他文档。因为没有主外键的概念，使用起来非常方便。若嵌套的文档太深，在更新数据是，需要注意不能覆盖原来的值。比如User表中的ability是一个集合，若传一个字符串，依然可以更新成功，但已经破坏了数据结构。这是很多新手容易犯的错。

第二点：内嵌的文档属性名最好不要重名。举个例子，如果User表中的address对象，也有一个name的属性。那么在后续写代码的过程中，极容易混淆。导致数据更新异常。

第三点：表的设计尽量做到扁平化，单表设计能有效提高数据库的查询销率。

第四点：使用Mongoose约束数据结构，当数据结构不一致时操作失败。

前两点足以让一些老辈程序员抓狂，让新来的程序员懵圈。这也是很多开发人员喜欢又讨厌MongoDB的原因。