文章目录 一、HDFS简介1.1、为什么需要HDFS1.2、核心数据和行为数据 二、核心架构和读写流程2.1、核心架构组件NameNodeSecondary NameNodeDataNodeBlock 2.2、读数据逻辑2.3、写数据逻辑 三、基本命令使用四、分布式可靠性保障3.1、副本冗余3.2、机架策略3.3、心跳机制3.4、安全校验3.5、数据恢复 附：HDFS环境配置 一、HDFS简介 HDFS全称为Hadoop Distributed File S 继续阅读

目录 引言 1、面试官：完看你简历提到使用过Nginx做代理，你是如何理解“正向代理”，“反向代理”的？ 2、面试官：那服务端为什么要使用代理？有啥好处？ 3、面试官：那你知道哪些负载均衡算法？ 深入分析 什么是负载均衡 常用的负载均衡框架 正向代理&反向代理 继续阅读

Java架构师必读书籍，分享给大家 1、大型网站系统与JAVA中间件实践 本书围绕大型网站和支撑大型网站架构的Java中间件的实践展开介绍。 从分布式系统的知识切入，让读者对分布式系统有基本的了解；然后介绍大型网站随着数据量、访问量增长而发生的架构变迁；接着讲述构建Java中间件的相关知识；之后的几章都是根据笔者的经验来介绍支撑大型网站架构的Java中间件系统的设计和实践。希望读者通过本书可以了解大型网站架构变迁过程中的较为通用的问题和解法，并了解构建 继续阅读

一、背景 1. 分布式数据库架构 当前分布式数据库架构有不少，但是总体架构相差不大，主要组件都包含协调节点、数据分片、元数据节点、全局时钟。一种常见的分布式架构如下图： gtm ：全局事务管理器(全局时钟)，一主多备； catalog: 元数据管理，一主多备； group: 水平分片,每个group由一主多备数据存储节点组成； proxy : 协调节点，无状态，负责处理客户端的请求，把请求 继续阅读

目录 引言 1、面试官：我看你提到，项目中使用了Reids作为缓存，为什么是Reids而不是其他，Redis有什么优势吗？ 2、面试官：刚刚你提到Redis是单线程，为什么单线程模型的Redis性能不减。 3、面试官：那你刚刚说的Redis数据结构都有哪几种，如何选择使用哪种？ 深入分析 1、简单动态字符串结构，Redis字符串的实现方式 2、链表数据 继续阅读

心跳( heartbeat )是分布式系统中常用的技术。顾名思义，心跳就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳，一般可以认为发送心跳的这个节点在当前的网络中状态是良好的。 同时分布式存储系统中经常会采用master-slave架构（也即主从架构），从节点通常会使用心跳技术向主节点汇报自身的健康状况，或者其他请求，主节点处理接收到的心跳信息，并响应给从节点一些操作指令，从节点收到这些操作指令后，会进行相应的操作。今天这篇文章就来分析总结一下这个实现方案。 一、 概述 先总结 继续阅读

前言 为什么需要Spring? 什么是Spring? 对于这样的问题，大部分人都是处于一种朦朦胧胧的状态，说的出来，但又不是完全说的出来，今天我们就以架构设计的角度尝试解开Spring的神秘面纱。 本篇文章以由浅入深的方式进行介绍，大家不必惊慌，我可以保证，只要你会编程就能看懂。 本篇文章基于Spring 5.2.8，阅读时长大概需要20分钟 案例 我们先来看一个案例：有一个小伙，有一辆吉利车， 平常就开吉利车上班 继续阅读

如果这是一个命题《浅谈政务行业售前架构岗位应知应会》，那么我下面会从工作实际情况进行阐述： 一、但凡谈到政务行业，一定少不了公检法司、教育、文旅、发改工信科技委员会等等政务机构，今天只谈谈大数据局这个情况。 引用百度大数据局（以下简称大数）职能介绍—— 1按照党的十九大关于发展大数据、建设数字中国和智慧社会、提高社会治理智能化水平的部署要求，组建省大数据发展管理局，负责推进政府数 继续阅读

本文介绍了Centos7.3 RabbitMQ分布式集群搭建示例，分享给大家，具体如下： 注意事项 centos 7.x 关闭firewall 三台机器： ? 1 2 3 继续阅读

Prometheus是一个开源的监控系统和时间序列数据库，被广泛应用于云原生环境中的监控和告警。本文将介绍Prometheus的核心概念和架构，帮助读者了解Prometheus的工作原理和基本组件。 1. 核心概念 Prometheus基于一些核心概念来实现高效的监控和度量数据收集： 监控目标（Targets） 监控目标是需要被Prometheus监控的应用程序或系统组件。Prometheus可以监控各种类型的目标&# 继续阅读

前言 关于分布式文件存储，之前我也是使用fastdfs，那为什么突然选择minio？ 1、它可以多平台部署 2、搭建起来不是很复杂 3、github近30K的star 什么是minio？ 构建高性能的云原生数据 机器学习，大数据分析，海量存储的基础架构 MinIO支持各种应用程序数据工作负载 在中国：阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品 继续阅读

奇舞推荐 ■ ■ ■  ChatGPT 的工作原理，这篇文章说清楚了！ ChatGPT 能够自动生成一些读起来表面上甚至像人写的文字的东西，这非常了不起，而且出乎意料。但它是如何做到的？为什么它能发挥作用？  浅谈幂等 幂等是分布式系统中保证数据一致性和安全性的重要保障之一，尤其是在金融、支付领域，其作为资损防控的硬性指标体现在系统架构设计中。今天我们就来浅谈一下幂等相关的设计。 继续阅读