构建win10下用IDEA运行Hadoop程序本地解压hadoop安装包如图
2.将hadoop添加到环境变量中
在Path变量中添加
下载winutils工具,将bin目录覆盖到解压的hadoop安装包中
3.在IDEA中构建新项目：
注意：IDEA必须下载专业版
打开之后：
如图
创建完项目之后，打开porn.xml文件：
添加配置项
123456789101112131415161718192021<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.or...
CentOS 7的官方软件源中，只有PHP 5.4这个官方已经不再提供技术支持的老版本。
不仅仅是为了安全原因，只是PHP 7中的那些新特性，就要求我们必须更新到新版本下。
启用EPEL和REMI软件源执行以下指令，分别安装EPEL和Remi软件源：
yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm
安装yum包管理工具默认安装的yum软件包...
查看[root@dev-server ~]# getenforce
Disabled
[root@dev-server ~]# /usr/sbin/sestatus -v
SELinux status: disabled
临时关闭设置SELinux 成为permissive模式setenforce 1 设置SELinux 成为enforcing模式setenforce 0
永久关闭vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled
设置后需要重启才能生效
解决使用vmware（vsphere）部署linux的ova（ovf）模板后，会发现系统启动后无法联网。这是因为ifcfg-eth0配置文件中保存的MAC地址与当前系统实际的MAC地址不一致引起的。可通过如下步骤解决：
删除ifcfg-eth0配置文件中的HWADDR行
删除HWADDR所在行内容
删除70-persistent-net.rules文件
rm /etc/udev/rules.d/70-persistent-net.rules
重启网卡或者重启系统
概述Hadoop MapReduce采用Master/Slave结构。
Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。
Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTracker。
JobTracker剖析概述：JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息JobTracker的主要功能
作业控制：在hadoop中每个应用程序被表示成一个作业，每个作业又被分成多个...
统计某银行信用卡违约用户数量csv下载地址
违约规则：AY_1～PAY_6：PAY_1为2005年9月的还款情况；PAY_2为2005年8月的还款情况；…；PAY_6为2005年4月的还款情况。BILL_AMT1～BILL_AMT6和PAY_AMT1～PAY_AMT6中数字标识的含义也是如此。PAY_1～PAY_6的取值含义为：0 = 及时还；1 = 还款延迟一个月；2 = 还款延迟两个月；3 = 还款延迟三个月；…；9 = 还款延迟九个月及以上。每月的支付金额PAY_AMT不能低于银行规定的当月最低还款额，否则就是违约。如果支付金额PAY_AMT大于上月账单金额BILL_AMT则视为及...
命令基本格式:hadoop fs -cmd < args >
ls
hadoop fs -ls /
列出hdfs文件系统根目录下的目录和文件
hadoop fs -ls -R /
列出hdfs文件系统所有的目录和文件
put
hadoop fs -put < local file > < hdfs file >
hdfs file的父目录一定要存在，否则命令不会执行
hadoop fs -put < local file or dir >...< hdfs dir >
hdfs dir 一定要存在，否则命令不会执...
前言本次搭建Mysql主主架构基于我的keepalived+nginx+apache+mysql实现高可用、负载均衡的网站/#more)这篇文章
在搭建主主配置之前我们先介绍介绍mysql主从方案
mysql主从方案,有一主多从，读写分离等功能，但是单主存在单点故障，从库切换成主库需要作改动等缺点。
因此，如果是双主或者多主，就会增加mysql入口，增加高可用。
不过多主需要考虑自增长ID问题，这个需要特别设置配置文件，比如双主，可以使用奇偶，总之，主之间设置自增长ID相互不冲突就能完美解决自增长ID冲突问题。
MySQL双主（主主）架构方案思路是:
两台mysql都可读写，互为主备，...
默认情况下，Centos7防火墙是打开的，如果你没有关闭他，你安装nginx后启动，是无法访问到nginx服务的。
所以需要做这件事
启动nginx启动前先看它启动没有，通过linux命令查看所有端口，看看有没有80
netstat -ntlp
如果没有，则通过命令启动
sudo systemctl start nginx.service
设置nginx开启启动sudo chkconfig nginx on
关闭Centos自带的firewall防火墙systemctl stop firewalld.service #停止firewall
禁止Firewall下次启动systemctl ...
原因我在Liunx安装Apache服务时，遇到
有进程存在，本进程原地等待
导致此状况原因可能是我一开始没有联网直接运行
yum install -y httpd
导致该进程一直占用资源，pid被锁定
解决方法常规篇首先，用ps查看进程，方法如下：
ps -ef查看详情
此时如果我想杀了yum的进程就在终端输入：
kill -s 9 2457
其中-s 9 制定了传递给进程的信号是９，即强制、尽快终止进程。
2457则是上面ps查到的yum的PID
杀死其他yum进程后，yum便能正常运行
进阶篇把ps的查询结果通过管道给grep查找包含特定字符串的进程。管道符“|”用来隔开两...
