Just Do IT !

Just Do IT !

一个对技术永远充满热爱的大学生

Win10开启与搭建FTP服务器(详细图文版)
Win10搭建FTP服务器记一次在win10上搭建FTP服务器的过程 1. 开启FTP服务打开控制面板选中程序,打开启用或关闭Windows功能 2. IIS配置windows+q键搜索IIS右键网站,添加FTP站点输入站点信息输入本机IP地址,注意SSL选中无SSL的选项 3. 防火墙设置在控制面板中打开防火墙,选中箭头选项允许应用通过Windows Defender 防火墙进行通信允许其他应用 4. 查看是否成功
Centos7搭建Hadoop3.1.3完全分布模式
详细搭建可以参考我的Hadoop2.8.0安装 准备 本文下载的是3.1.3版本的Hadoop 关闭防火墙12systemctl stop firewalldsetenforce 0 虚拟机的准备安装3个虚拟机并实现ssh免密码的登录安装3个centos7虚拟机 安装3个机器,机器分别叫master slave1 slave2 在/etc/hostname下修改主机名 其他两台也是一样 修改主机映射修改/etc/hosts文件 修改这3台机器的/etc/hosts文件,在文件中添加以下内容,如图: 说明:ip地址没必要和我的一样,这里只是做一个映射,只要映射是对的就可以,至于修改方...
CentOS7 Failed to start LSB: Bring up/down解决方法
报错Failed to start LSB: Bring up/down networking. 原因分析原因可能是因为我虚拟机地址设为静态地址,然后通过此虚拟机克隆了两台虚拟机,猜测此时mac地址发生了冲突 解决方法systemctl stop NetworkManager systemctl disable NetworkManager systemctl start network.service
SparkSQL,加载文件,处理文件,存储文件
简介Spark SQL重要的是操作DataFrame,DataFrame本身提供了Save和Load的操作, Load:可以创建DataFrame。 Save:把DataFrame中的数据保存到文件或者说用具体的格式来指明我们要读取的文件类型,以及用具体的格式来指出我们要输出的文件是什么类型。 Spark SQL执行基本操作时,内部结构流程图如下: DataFrame本质是数据 + 数据的描述信息(结构元信息)。 所有的上述SQL及DataFrame操作最终都通过Catalyst翻译成Spark程序RDD操作代码。 Spark SQL前身是Shark,大量依赖Hive项目的jar包与功能...
SparkSQL,创建表,查询数据
简介Spark SQL的前身是Shark,Shark是伯克利实验室Spark生态环境的组件之一,它能运行在Spark引擎上,从而使得SQL查询的速度得到10-100倍的提升,但是,随着Spark的发展,由于Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them All的既定方针,制约了Spark各个组件的相互集成,所以提出了SparkSQL项目。 SparkSQL抛弃了原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-MemoryColumnarStorage)、Hive兼容性等,重新开...
Spark Shell操作
Spark 简介Spark shell是一个特别适合快速开发Spark程序的工具。即使你对Scala不熟悉,仍然可以使用这个工具快速应用Scala操作Spark。 Spark shell使得用户可以和Spark集群交互,提交查询,这便于调试,也便于初学者使用Spark。 Spark shell是非常方便的,因为它很大程度上基于Scala REPL(Scala交互式shell,即Scala解释器),并继承了Scala REPL(读取-求值-打印-循环)(Read-Evaluate-Print-Loop)的所有功能。运行spark-shell,则会运行spark-submit,spark-s...
使用etree与xpath爬取Discuz论坛
引入模块在pycharm中下载lxml库通过from lxml import etree引入模块 测试12345678import requestsfrom lxml import etreeurl = "https://www.discuz.net/forum-developer-1.html"text = requests.get(url).texthtml = etree.HTML(text)context = etree.tostring(html).decode()print(html.xpath('//div[@id="threadlist"]/div[2]/form/tab...
WindowsServer2016 Anaconda下TensorFlow-GPU环境搭建详细教程(包含CUDA+cuDNN安装过程)
记一次为GPU服务器搭建机器学习平台的操作 安装Anaconda去官网安装Anaconda 添加环境变量以后,创建TensorFlow环境将以下三个路径加入,注意这里要换成你自己的安装路径。123C:\Users\xxx\anaconda3C:\Users\xxx\anaconda3\ScriptsC:\Users\xxx\anaconda3\Library\bin 安装gpu版本的TensorFlow激活TensorFlow环境activate tensorflow 注意: 如果出现报错先运行conda init初始化,关闭cmd重新打开即可运行 pip install tens...
avatar
浩翰Redamancy
文质彬彬 然后君子
FRIENDS
My CSDN