搭建说明：第一次搭建 hadoop 的小伙伴，请严格按照文章中的软件环境和步骤搭建，不一样的版本都可能会导致问题。 软件环境： 虚拟机：vmware pro14 linux：centos-6.4（下载dvd版本即可） jdk：openjdk1.8.0 （强力建议不要使用 oracle 公司的 linux 版本的 jdk） hadoop：2.6.5（下载地址） 虚拟机的安装和linux系统的安装这里就省略了，可以参照网上的教程安装 继续阅读

Python+Spark 2.0+Hadoop机器学习与大数据实战，由清华大学出版社在2017-12-01月出版发行，本书编译以及作者信息为： 林大贵 著，这是第1次发行， 国际标准书号为：9787302490739，品牌为清华大学, 这本书采用平装开本为16开，纸张采为胶版纸，全书共有519页，字数86万4000字，值得推荐。 此书内容摘要《Python+Spark 2.0+Hadoop机器学习与大数据实战》从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器 继续阅读

文章目录 一、HDFS简介1.1、为什么需要HDFS1.2、核心数据和行为数据 二、核心架构和读写流程2.1、核心架构组件NameNodeSecondary NameNodeDataNodeBlock 2.2、读数据逻辑2.3、写数据逻辑 三、基本命令使用四、分布式可靠性保障3.1、副本冗余3.2、机架策略3.3、心跳机制3.4、安全校验3.5、数据恢复 附：HDFS环境配置 一、HDFS简介 HDFS全称为Hadoop Distributed File S 继续阅读

必须掌握的分布式文件存储系统—HDFS​mp.weixin.qq.comHDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树，客户端可通过路径来访问文件，如hdfs://namenode:port/dir-a/a. 继续阅读

如何使用Python编写程序读取HDFS目录下的所有文件？在这篇文章中，我们将详细阐述这个问题。 一、读取HDFS文件系统 HDFS是Apache Hadoop的分布式文件系统。它设计用来存储和处理大规模数据集（Big Data），并提供高容错性、高可靠性、高可扩展性和高性能的数据存储。我们通过Python的hdfs模块来连接和操作HDFS文件系统。 代码示例： from hdfs import InsecureClient hdfs_client = I 继续阅读

Spark是一款开源的大数据分布式计算框架，它能够高效地处理海量数据，并且具有快速、强大且易于使用的特点。本文将从以下几个方面阐述Spark的优点、特点及其相关使用技巧。 一、Spark的概述与优点 Spark的出现解决了Hadoop无法在实时和迭代计算方面的不足。相比于Hadoop，Spark有以下几个优点： 速度更快。Spark采用内存计算方式，执行速度比Hadoop快100倍。 支持实时计算。Spark的设计目标是在内存中对数据进行实时处理，它能够以秒 继续阅读

最近没有项目做，比较空闲，小编打算在linux 的CentOS 7 Minimal版本试着搭建hadoop环境学习学习，当然第一步就是在CentOS 7 Minimal 安装JDK 1.8环境。其实老早就打算了解一下hadoop了，奈何太懒一拖再拖！梭哈梭哈，干干干！ 在linux CentOS 7 Minimal 安装JDK 1.8很简单，因为是CentOS精简版，并没有安装默认JDK，几步就搞定。首先要在java官网：http://www.oracle.com/t 继续阅读

一、 情况描述 之前一直在IDEA中运行Flink程序，程序也都很顺利的跑通。但是当把程序打包发布到集群上运行便遇到了一些情况： bin/flink run -m hadoop102:8081 -c com.ryl.cdc.FlinkCDC_01_DS ./flink-cdc-1.0-SNAPSHOT-jar-with-dependencies.jar 第一次提交时的异常信息： -------------------------------- 继续阅读

Sqoop初认识及安装 文章目录 Sqoop初认识及安装Sqoop简介Sqoop原理安装前置条件镜像地址上传安装包解压修改配置文件重命名配置文件 拷贝JDBC驱动验证Sqoop测试Sqoop是否能够成功连接数据库 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,O 继续阅读