spark mllib(javaweb和spark)
一、spark的任务支持的语言
ApacheSpark是一个大数据处理框架,支持多种编程语言进行任务开发。以下是Spark支持的主要编程语言:Scala:Spark的主要语言是Scala,它提供了丰富的API和Spark的大部分功能。Python(PySpark):Spark支持Python编程语言,通过PySpark接口,可以使用Python进行Spark应用程序的开发。Java:Spark也支持Java编程语言,可以使用JavaAPI进行Spark应用程序的开发。R(SparkR和SparkR2R):Spark还支持R语言,可以通过SparkR或SparkR2R接口进行Spark应用程序的开发。此外,Spark还支持SQL、DataFrame、DataSetAPI以及MLlib、SparkStreaming等功能,可以满足各种大数据处理需求。
二、spark由什么组成
Spark是一个高性能内存处理引擎,它提供了基于RDD的数据抽象,能够灵活处理分布式数据集。
Spark由一系列解决不同种类问题的系统和编程库构成,包括流式计算SparkStreaming,SQL引擎SparkSQL,机器学习库MLLib以及图计算框架GraphX。
三、如何用spark实现好友推荐
首先这是一个偏技术的问题,专业性很强。
大方向来讲,用spark做推荐,一般会用的spark的mllib库,对现有的数据,做协同过滤分析。
回到题目,做好友推荐,一般是基于用户兴趣的协同过滤算法,来对现有数据进行学习分析,从而得出好友推荐列表。
关于协同过滤的过程,可以举个例子说明,有A和B两用户,A喜欢篮球,电动,而B喜欢唱歌,篮球,通过分析数据发现A和B都喜欢篮球,就把A推荐给B做好友了。
关于spark的使用,后面我会找机会写写相关教程,有兴趣的同学也可关注一下。