博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
3 分钟学会调用 Apache Spark MLlib KMeans
阅读量:7195 次
发布时间:2019-06-29

本文共 592 字,大约阅读时间需要 1 分钟。

Apache Spark MLlib是Apache Spark体系中重要的一块拼图:提供了机器学习的模块。只是,眼下对此网上介绍的文章不是非常多。拿KMeans来说,网上有些文章提供了一些演示样例程序,而这些程序基本和Apache Spark 官网上的程序片断类似:在得到训练模型后,差点儿都没有展示怎样使用该模型、程序运行流程、结果展示以及举例測试数据等部分。

笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2 的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。

[A. 程序主要部分]

[B. 測试数据]

[C. 运行]

利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。

[D. 结果]

- Console 返回的结果(最后几行):

- Yarn Web Console返回的运行结果:

- Yarn Log 中显示 Scala 程序的Output:

[E. 总结]

- 调用 Spark MLlib 库的过程并不复杂

- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測

你可能感兴趣的文章
JavaScript 里面的整数 位 操作
查看>>
Qt的编程风格与规范
查看>>
CentOS “/lib64/libc.so.6: version `GLIBC_2.14′ not found”系统glibc版本太低
查看>>
Java 线程和多线程执行过程分析
查看>>
C#.NET中遍历指定目录下的文件(及所有子目录及子目录里更深层目录里的文件)...
查看>>
缓存溢出Buffer Overflow
查看>>
一个HTTP Basic Authentication引发的异常
查看>>
FIR特性及仿真实现_01
查看>>
具体了解哈夫曼树和背包问题
查看>>
牛逼的postman,分类管理更好用
查看>>
技术栈总结及短期学习目标规划
查看>>
quick-cocos2dx 之transition.execute()的缓动效果
查看>>
Failed to resolve: com.android.support:appcompat-v7:27.0.1问题解决
查看>>
laravel 的 intervention-image 图像处理笔记(备用)
查看>>
μC/OS-II与RT-Thread对比—任务调度
查看>>
SVN升级到1.8后 Upgrade working copy
查看>>
【转】编程的智慧
查看>>
<Netty>(十五)(中级篇)reactor模式解析Netty
查看>>
【mysql优化1】表的优化与列类型选择
查看>>
MySQL中EXISTS的用法
查看>>