Scala概述学习Scala的原因
Spark—新一代内存级大数据计算框架,是大数据的重要内容。
Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。
Scala 是 Scalable Language 的简写,是一门多范式(范式/编程方式[面向对象/函数式编程])的编程语言
联邦理工学院洛桑(EPFL)的Martin Odersky于2001年开始设计Scala
Spark的兴起,带动Scala语言的发展!
Scala语言的特点
Scala 是一门以 java 虚拟机(JVM)为运行环境并将面向对象和函数式编程的最佳特性结合在一起...
准备安装首先在官网下载好scala以后,安装在hadoop目录下
cd /opt/hadoop
tar -zxvf scala-2.12.8.tgz
进入环境变量vim /etc/profile
#scala
export SCALA_HOME=/opt/hadoop/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile保存
在相应的slave1,与slave2中也进行相应修改
安装成功
将scala分发到其他节点上scp -r scala-2.12.8 root@slave1:/opt/hadoop/
...
把常用的tar解压命令总结下,当作备忘:
tar-c: 建立压缩档案
-x:解压
-t:查看内容
-r:向压缩归档文件末尾追加文件
-u:更新原压缩包中的文件
这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。
-z:有gzip属性的
-j:有bz2属性的
-Z:有compress属性的
-v:显示所有过程
-O:将文件解开到标准输出
下面的参数-f是必须的
-f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名。
tar -cf all.tar *.jpg
这条命令是将所有.jpg的文件...
变量的分类
按数据类型分类详细说明:
整型:
byte(1字节=8bit)
short(2字节)
int(4字节)
long(8字节)
① byte范围:-128 ~ 127
② 声明long型变量,必须以”l”或”L”结尾
③ 通常,定义整型变量时,使用int型。
④整型的常量,默认类型是:int型
浮点型:float(4字节) \ double(8字节)
① 浮点型,表示带小数点的数值
② float表示数值的范围比long还大
③ 定义float类型变量时,变量要以”f”或”F”结尾
④ 通常,定义浮点型变量时,使用double型。
⑤ 浮点型的常量,默认类型为:do...
前言相信大家初学java时,肯定会涉及到“配置环境变量”,而在网上搜索大多是教我们如何如配置,真正说明为什么要去配置环境变量的不多。
不管在windows里还是liunx里都少不了环境变量的配置,一键Copy是解决不了问题的,还可能会出现各种各样的问题,如果我们搞清楚原理,就会方便许多。
今天我们就以java环境变量来了解,什么是环境变量以及为什么要配置。
什么是环境变量环境变量(Environment Variable )环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。
变量
可以随意给其赋值的一个存储单元
环境例如jvm这些都属于小软件,...
卸载系统自带OpenJDK以及相关的java文件查看系统自带jdk版本信息java -version
查看当前系统自带的open jdk版本信息
查找要删除的jdk文件输入
rpm -qa | grep java
查看包含java字符串的文件,其中删除类似下面这四个文件(不一定是四个)
java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
java...
前期准备在VMware下安装Centos7 以后,选择NAT模式
查看IP地址
ip addr
现在我的ip地址是dhcp动态分配出的,地址为192.168.0.128,网卡名字为ens33
点击VMware Workstation 编辑下的虚拟网络编辑器
在里面我们可以看到虚拟网卡的信息
点击 更改设置
点击Vmnet8网卡,将子网ip改为自己想要的ip地址类型,这里我修改的是192.168.0.0
然后点击NAT设置,将网关设置为192.168.0.253
保存退出。
修改配置文件在/etc/sysconfig/network-scripts/下找到网卡配置文件 ens33...
前言作为一个码代码的萌新,想要学习更前沿更丰富的代码就得来全球最大的开源社区啦!:)
但是网上的参考资料太多太复杂,我就一边学一边把自己的学习过程整理下来,方便日后复习查看。
什么是GitHubgithub是一个基于git的代码托管平台,付费用户可以建私人仓库,我们一般的免费用户只能使用公共仓库,也就是代码要公开。Github 由Chris Wanstrath, PJ Hyett 与Tom Preston-Werner三位开发者在2008年4月创办。迄今拥有59名全职员工,主要提供基于git的版本托管服务。
git是一个版本控制工具,github是一个用git做版本控制的项目托管平台。
...
博客部署到GitHub如果没有GitHub账号可以参考我的其他文章有的话我们就进入到自己GitHub的主页面
点击第一个,我们新建一个仓库,在Repository name里输入自己的用户名.github.io
用户部署个人博客的GitHub仓库命名必须符合特定要求
例如我的输入是:
PlutoaCharon.github.io
点击绿色的Create repository按钮创建新的仓库,出现如下界面说明创建成功!
保留这个页面,在blog所在的路径下,在cmd里输入cnpm install --save hexo-deployer-git
安装一个git的部署插件
在...
前期准备下载Node js
官方地址:https://nodejs.org/en/
点击第一个绿色按钮
安装过程就是一直下一步就可以了。安装完成之后打开cmd
键盘按住win+r键,输入cmd打开
输入node -v查看node的版本
npm -v查看包管理器版本
这样安装nodejs的步骤就完成了
安装hexo
因为hexo是需要nodejs来支持的,上面就是前置步骤
这样咱们来开始真正安装hexo博客的框架
安装之前,我们需要借助npm包来安装,但是因为咱们国内镜像源安装太慢,所以我们一般是在使用之前,先安装cnpm。这里我们使用npm逆向安装cmpm,使用...