Ubuntu 17.10配置Hadoop+Spark环境

一、前言

  最近导师带的项目是与大数据相关,感觉这几年大数据技术还挺火的,就想着也去学一下,丰富自己的技能栈。本文主要讲的是hadoop+spark的环境搭建,然后使用自带的examples测试环境,这里不涉及原理介绍。

阅读更多

Shell Script学习笔记

一、 前言

最近开始使用Linux系统,经常操作terminal,经常使用Linux下的bash来进行一些重复的操作,因此想学习shell script来简化一些安装软件的步骤,实现自动化部署一些应用,节约时间。本文介绍了一些bash命令的一些技巧,然后详细地讲解了正则表达式与文件格式化处理,并且对于每一个操作都有相关的实例进行练习,加强理解;shell script,同样对于每一个功能都有相应的实例进行练习,可以说~非常适合新手来阅读学习了!

阅读更多

hexo常用命令

现在来介绍常用的Hexo 命令

阅读更多

如何批量删除微博

最近想删掉自己的所有微博,可是微博官方并没有相关的功能,网上也有一些工具能够实现,但是都收费。所以我搜了一些比较方便的方法,来实现删除所有微博。

阅读更多

sublime插件:Markdown

1.MarkDown Editing:支持Markdown语法高亮;支持Github Favored Markdown语法;自带3个主题

阅读更多

如何上传本地文件到Github上

最近做了一些工作,想将他们上传到GitHub上去保存,我习惯于本地编辑,完成后再一起上传到仓库中,长时间不使用很容易忘,总结网上的一些教程,写作博客里方便自己偶尔查阅。

阅读更多

在sublimeText3中安装pylinter方法

1.下载pylint安装包

官网下载,解压即可<https://pypi.python.org/pypi/pylint>

阅读更多

python3.x与MySQL的安装与链接

需要用到python来进行mysql数据库处理,遇到了一些问题,比如python如何连接MySQL进行数据库相关操作等,接下来我将一些python3中一些MySQL处理的一些操作写在下面。

阅读更多

xpath学习笔记

XPath是一个非常好用的解析方法,同时也作为爬虫学习的基础,在后面的 selenium 以及 scrapy 框架中都会涉及到这部分知识,需要把它的语法掌握清楚,为后面的深入研究做好铺垫。

阅读更多

贝叶斯分类器实现

1、贝叶斯分类实现(采用python3.6 数据集为arff文件格式)

数据挖掘课老师留的一个实现贝叶斯分类器的练习,数据源为arff格式的文件~下面是使用python语言编写的一个简单的实现案例。

阅读更多