hadoop简介(hadoop功能介绍)

一、hadoop功能介绍

Hadoop是大数据处理框架，工具

hdfs和mapReduce是Hadoop的两个原始核心功能，前者是负责储存的系统，类似把试卷放在几个柜子里，后者负责并行计算，类似把100份试卷分给5个人批改。

Hadoop后来逐渐加了其他工具

hive提供数据汇总查询功能，给了一个窗口处理数据，对数据进行加减乘除。

hbase是一个可扩展的、非关系型数据库，不是传统的excel表那种的数据格式

spark是比mapReduce更快的计算框架

Hadoop和mysql的关系是“Friendswithbenefits”

Hadoop的并行处理系统加上mysql的快速处理大量数据能力，就能得到一个能够使用关系型数据并以巨大速度进行计算的数据库。

二、hoodoop介绍

1.Hoodoo是一种传统的非洲裔美国人的民间宗教和魔法实践。2.Hoodoo起源于非洲裔美国人的文化和宗教传统，融合了非洲、欧洲和美洲原住民的元素。它包括了使用草药、符咒、香料、矿物和其他物质来进行祈祷、治疗、保护和施法的实践。3.Hoodoo的实践通常涉及到与自然界和灵界的交流，以达到改变命运、保护自己、吸引好运、解决问题等目的。它是非常丰富和多样化的，包括了各种仪式、咒语、符咒和草药的使用。同时，Hoodoo也与非洲裔美国人的历史和文化紧密相连，反映了他们在困境中寻求力量和自由的努力。

三、大数据与Hadoop之间是什么关系

谢谢邀请！

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

大数据自身的岗位包括大数据平台研发、大数据应用开发、大数据分析、大数据运维等，不同的工作岗位有不同的任务要求。比如大数据平台研发主要从事大数据基础性的开发任务，解决大数据分布式存储和分布式计算机的系统级问题，另外还需要考虑并发、安全、事务等内容。

Hadoop本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造，对于开发人员来说，只需要关注于具体的服务实现就可以了，系统级功能已经由Hadoop提供了实现。所以，Hadoop是大数据开发人员的重要基础。

随着Hadoop的不断发展，基于Hadoop的大数据生态越发完善，目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来，这些组件极大的丰富了Hadoop自身的应用。随着组件的增多，Hadoop自身也越来越重，因此目前很多大数据工程师更愿意使用Spark，因为Spark更轻，速度也更快一些（基于内存）。

由于Hadoop对硬件的要求并不高，所以很多初学者都是从Hadoop开始学习大数据的，目前很多商用大数据平台也是基于Hadoop的。

作者简介：中国科学院大学计算机专业研究生导师，从事IT行业多年，研究方向包括动态软件体系结构、大数据、人工智能相关领域，有多年的一线研发经验。

欢迎关注作者，欢迎咨询计算机相关问题。