mango数据库 hadoop和mangoDb用作大数据分析哪个更好
大家好，关于mango数据库很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于hadoop和mangoDb用作大数据分析哪个更好的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！
谁能说说mangodb 和 hbase的区别
1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。
2.Mongodb主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，hbase的主键就是row key，可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。
字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
3.Mongodb支持二级索引，而hbase本身不支持二级索引
4.Mongodb支持集合查找，正则查找，范围查找，支持skip和limit等等，是最像mysql的nosql数据库，而hbase只支持三种查找：通过单个row key访问，通过row key的range，全表扫描
5.mongodb的update是update-in-place，也就是原地更新，除非原地容纳不下更新后的数据记录。而hbase的修改和添加都是同一个命令：put，如果put传入的row key已经存在就更新原记录,实际上hbase内部也不是更新，它只是将这一份数据已不同的版本保存下来而已，hbase默认的保存版本的历史数量是3。
6.mongodb的delete会将该行的数据标示为已删除，因为mongodb在删除记录时并不是真把记录从内存或文件中remove，而是将该删除记录数据置空（写0或特殊数字加以标识）同时将该记录所在地址放到一个list列表“释放列表”中，这样做的好就是就是如果有用户要执行插入记录操作时，mongodb会首先从该“释放列表”中获取size合适的“已删除记录”地址返回，这种方法会提升性能（避免了malloc内存操作），同时mongodb也使用了bucket size数组来定义多个大小size不同的列表，用于将要删除的记录根据其size大小放到合适的“释放列表”中。Hbase的delete是先新建一个tombstonemarkers，然后读的时候会和tombstonemarkers做merge，在发生major compaction时delete的数据记录才会真真删除。
7.mongodb和hbase都支持mapreduce，不过mongodb的mapreduce支持不够强大，如果没有使用mongodb分片，mapreduce实际上不是并行执行的
8.mongodb支持shard分片，hbase根据row key自动负载均衡，这里shard key和row key的选取尽量用非递增的字段，尽量用分布均衡的字段，因为分片都是根据范围来选择对应的存取server的，如果用递增字段很容易热点server的产生，由于是根据key的范围来自动分片的，如果key分布不均衡就会导致有些key根本就没法切分，从而产生负载不均衡。
9.mongodb的读效率比写高，hbase默认适合写多读少的情况，可以通过hfile.block.cache.size配置，该配置storefile的读缓存占用Heap的大小百分比，0.2表示20%。该值直接影响数据读的性能。如果写比读少很多，开到0.4-0.5也没问题。如果读写较均衡，0.3左右。如果写比读多，果断默认0.2吧。设置这个值的时候，你同时要参考hbase.regionserver.global.memstore.upperLimit，该值是memstore占heap的最大百分比，两个参数一个影响读，一个影响写。如果两值加起来超过80-90%，会有OOM的风险，谨慎设置。
10.hbase采用的LSM思想(Log-Structured Merge-Tree)，就是将对数据的更改hold在内存中，达到指定的threadhold后将该批更改merge后批量写入到磁盘，这样将单个写变成了批量写，大大提高了写入速度，不过这样的话读的时候就费劲了，需要merge disk上的数据和memory中的修改数据，这显然降低了读的性能。mongodb采用的是mapfile+Journal思想，如果记录不在内存，先加载到内存，然后在内存中更改后记录日志，然后隔一段时间批量的写入data文件，这样对内存的要求较高，至少需要容纳下热点数据和索引。
hadoop和mangoDb用作大数据分析哪个更好
1，hadoop是大数据分析的完整生态系统，从数据采集，存储，分析，转运，再到页面展示，构成了整个流程采集可以用flume，存储用hbase，hdfs，mangodb就相当于hbase，分析用Mapreduce自己写算法，还有hive做数据仓库，pig做数据流处理，转储方面有sqoop，可以将hdfs中的数据转换存储到mysql，oracle等传统数据库，这就构成了一整套大数据分析的整个流程
2，mangodb只是充当存储功能，是一款nosql数据库，支持以json的格式存储
3，所以从功能上来讲，hadoop和mangodb是不一样的，hadoop中可以用mangodb替换hbase，但是mangodb不能替换hadoop，一个是完整的生态系统，一个是数据库，两个不一样的概念
4，至于选择用mangodb还是hbase，各有优劣，不过使用较多的还是hbase，mangodb社区没有hbase活跃，所以还是hbase吧
java怎么连接mangodb需要哪些步骤
开发环境：
System：Win7
IDE：eclipse
Database：mongoDB
开发依赖库：
JavaEE5、mongo-2.5.3.jar、junit.jar、org.hamcrest.core_1.1.0.v20090501071000.jar
一、准备工作
1、下载Mongodb对java支持jar包
jar包下载地址：
mongoDB对Java的相关支持、技术：http://www.mongodb.org/display/DOCS/Java+Language+Center
驱动源码下载：https://download.github.com/mongodb-mongo-java-driver-r2.6.1-7-g6037357.zip
在线查看源码：https://github.com/mongodb/mongo-java-driver
2、下面建立一个JavaProject工程，导入下载下来的驱动包。即可在Java中使用mongoDB，目录如下：
二、Java操作MongoDB示例
在本示例之前你需要启动mongod.exe的服务，启动后，下面的程序才能顺利执行；
1、建立simpleTest.java，完成简单的mongoDB数据库操作
Mongomongo=newMongo();
这样就创建了一个MongoDB的数据库连接对象，它默认连接到当前机器的localhost地址，端口是27017。
DBdb=mongo.getDB(“test”);
这样就获得了一个test的数据库，如果mongoDB中没有创建这个数据库也是可以正常运行的。mongoDB可以在没有创建这个数据库的情况下，完成数据的添加操作。当添加的时候，没有这个库，mongoDB会自动创建当前数据库。
得到了db，下一步我们要获取一个“聚集集合DBCollection”，通过db对象的getCollection方法来完成。
DBCollectionusers=db.getCollection("users");
这样就获得了一个DBCollection，它相当于我们数据库的“表”。
查询所有数据：
DBCursorcur=users.find();
while(cur.hasNext()){
System.out.println(cur.next());
}
完整源码：
packagecom.mongodb;
importjava.net.UnknownHostException;
importcom.mongodb.util.JSON;
publicclasssimpleTest{
publicstaticvoidmain(String[]args)throwsUnknownHostException,MongoException{
Mongomg=newMongo();
//查询所有的Database
for(Stringname:mg.getDatabaseNames()){
System.out.println("dbName:"+name);
}
DBdb=mg.getDB("test");
//查询所有的聚集集合
for(Stringname:db.getCollectionNames()){
System.out.println("collectionName:"+name);
}
DBCollectionusers=db.getCollection("users");
//查询所有的数据
DBCursorcur=users.find();
while(cur.hasNext()){
System.out.println("while="+cur.next());
}
System.out.println("count="+cur.count());
System.out.println("CursorId="+cur.getCursorId());
System.out.println("cur="+JSON.serialize(cur));
}
}
2、完成CRUD操作，首先建立一个curdTset.java，基本测试代码如下：
packagecom.mongodb;
importjava.net.UnknownHostException;
importjava.util.ArrayList;
importjava.util.List;
importorg.bson.types.ObjectId;
importorg.junit.After;
importorg.junit.Before;
importorg.junit.Test;
importcom.mongodb.util.JSON;
publicclasscurdTset{
privateMongomg=null;
privateDBdb;
privateDBCollectionusers;//连接的mongodb数据库
@Before
publicvoidinit(){
System.out.println("TestBefore...");
try{
mg=newMongo();
//mg=newMongo("localhost",27017);
}catch(UnknownHostExceptione){
e.printStackTrace();
}catch(MongoExceptione){
e.printStackTrace();
}catch(Exceptione){
e.printStackTrace();
}
//获取testDB；如果默认没有创建，mongodb会自动创建
db=mg.getDB("test");
//获取usersDBCollection；如果默认没有创建，mongodb会自动创建
users=db.getCollection("users");
}
@After
publicvoiddestory(){
System.out.println("TestAfter...");
if(mg!=null){
mg.close();
}
mg=null;
db=null;
users=null;
System.gc();
}
publicvoidprint(Objecto){
System.out.println(o);
}
privatevoidqueryAll(){
print("查询users的所有数据：");
//db游标
DBCursorcur=users.find();
inti=1;
while(cur.hasNext()){
print("记录"+i+":"+cur.next());
i++;
}
}
@Test
publicvoidadd(){
//先查询所有数据
queryAll();
System.out.println("===============================ADDstart=======================================");
print("ADDcount:"+users.count());
DBObjectuser=newBasicDBObject();
user.put("name","hoojo");
user.put("age",24);
user.put("sex","男");
print(users.save(user).getN());
//添加多条数据，传递Array对象
print(users.insert(user,newBasicDBObject("name","tom")).getN());
//添加List集合
Listlist=newArrayList();
list.add(user);
DBObjectuser2=newBasicDBObject("name","lucy");
user.put("age",22);
list.add(user2);
//添加List集合
print(users.insert(list).getN());
//查询下数据，看看是否添加成功
print("count="+users.count());
System.out.println("===============================ADDend=======================================");
//查询所有数据
queryAll();
}
@Test
publicvoidremove(){
queryAll();
print("删除id=4dde2b06feb038463ff09042："+users.remove(newBasicDBObject("_id",newObjectId("4dde2b06feb038463ff09042"))).getN());
print("removeage>=24:"+users.remove(newBasicDBObject("age",newBasicDBObject("$gte",24))).getN());
System.out.println("===============================REMOVEend=======================================");
//查询所有数据
queryAll();
}
@Test
publicvoidmodify(){
print("修改："+users.update(newBasicDBObject("_id",newObjectId("4dde25d06be7c53ffbd70906")),newBasicDBObject("age",99)).getN());
print("修改："+users.update(
newBasicDBObject("_id",newObjectId("4dde2b06feb038463ff09042")),
newBasicDBObject("age",121),
true,//如果数据库不存在，是否添加
false//多条修改
).getN());
print("修改："+users.update(
newBasicDBObject("name","haha"),
newBasicDBObject("name","dingding"),
true,//如果数据库不存在，是否添加
false//false只修改第一条，true如果有多条就不修改
).getN());
//当数据库不存在就不修改、不添加数据，当多条数据就不修改
//print("修改多条："+coll.updateMulti(newBasicDBObject("_id",newObjectId("4dde23616be7c19df07db42c")),newBasicDBObject("name","199")));
System.out.println("===============================EDITend=======================================");
//查询所有数据
queryAll();
}
@Test
publicvoidtestOthers(){
//查询所有数据
queryAll();
DBObjectuser=newBasicDBObject();
user.put("name","hoojo");
user.put("age",24);
//JSON对象转换
print("serialize:"+JSON.serialize(user));
//反序列化
print("parse:"+JSON.parse("{"name":"hoojo","age":24}"));
print("判断tempCollection是否存在:"+db.collectionExists("users"));
//如果不存在就创建
if(!db.collectionExists("users")){
DBObjectoptions=newBasicDBObject();
options.put("size",20);
options.put("capped",20);
options.put("max",20);
print(db.createCollection("account",options));
}
//设置db为只读
db.setReadOnly(true);
//只读不能写入数据
db.getCollection("test").save(user);
}
}
END，本文到此结束，如果可以帮助到大家，还望关注本站哦！