01电力数据安全实践背景        数字经济的快速发展根本上源自数据的高质量治理和高价值转化，近年来，国家层面相继推出促进数据高质量治理的政策法规，围绕加强数据安全保障、提高数据质量等方面，明确了相关规定和要求。作为重要数据持有者，电力企业数据安全对个人信息、行业、地区乃至国家安全具有重大意义，且电力行业数据具有总量巨大、类型复杂多元、价值潜力巨大等特点，致使数据安全治理较为复杂。     继续阅读

数据治理是什么？为什么要做数据治理？关于数据治理我们需要做什么？ 数据治理无论是在数仓建设过程中还是数仓建设完成之后都是及其重要的，是数据部门基础建设的必经之路，是降本提效，形成企业数据资产的关键一环 一 数据质量管理 1.1 数据质量基本概念 ●数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水 继续阅读

背景 存储与计算资源是数仓建设的基础，也是数仓建设中的重要成本支出。而随着数仓建设规模逐渐扩大、时间跨度逐渐拉长，将不可避免的出现数据表、任务、字段的冗余。为了减轻资源负担，降低数仓维护成本，需要对数仓建设成本进行治理与优化。 技术路线 针对数仓建设成本治理的粒度从大到小可以分为：数据表、数据任务、数据表字段。从粗到细的治理优化思路如下： 当发现低频使用的数据表时，下线对应数据表的同时也删除 继续阅读

最近在日常的工作和跟客户的交流中，频繁谈及“数据编织”这个词，我开始关注数据编织是源于对主动式数据治理和数据编排的研究，从现在的趋势来看，数据编织显然已经进入落地阶段。数据编织正在从一个概念、一个理念向一线生产场景演进，正在加速产品化和实战化。其实数据编织不是一个特别新的词，Gartner在2022年的重要战略技术趋势报告里面，第三次把数据编织列为十大技术趋势之一。 一、数据编织产生的背景 继续阅读

接口分析爬数据需要先思考从哪里爬？经过一番搜索和考虑，我发现天天基金网的数据既比较全，又十分容易爬取，所以就从它入手了。首先，随便点开一支基金，我们可以看到域名就是该基金的代码，十分方便，其次下面有生成的净值图。 基金详情打开chrome的开发者调试，选择Network，然后刷新一下，很快我们就能发现我们想要的东西了。可以看到，这 继续阅读

文章目录 一、 径向基神经网络（Radial Basis Function Neural Network）是什么？二、径向基函数(RBF)神经网络对我们自己的excel数据进行分类---包括详细的python代码总结 一、 径向基神经网络（Radial Basis Function Neural Network）是什么？ 径向基神经网络（Radial Basis Fun 继续阅读

数据类型是数据项的分类或归类。Python 支持以下内置数据类型。数字类型int(整数型):正整数或负整数(不带小数部分)，例如-10，10，456，4654654。float(浮点型):任何用浮点数表示的实数，其中小数部分用十进制符号或科学符号表示，例如 1.23，3.4556789e2.complex(复数):实部和虚部表示为x + 2y的数,如 2.14j、2.0 + 2.3j 等。bool(布尔型):True和FalseNone序列类型序列是相似或不同数 继续阅读

推荐编程书籍：数据科学导论：Python语言实现，由机械工业出版社2016-08-01月出版发行，本书编译以及作者信息 为：[意] 阿尔贝托·博斯凯蒂 著，于俊伟 译，此次为第1次发行， 国际标准书号为：9787111544340，品牌为机工出版, 这本书采用平装开本为16开，纸张采为胶版纸，全书共有180页字数万字，是本Python 编程相关非常不错的书。此书内容摘要本书由两位资深数据科学家撰写，融合其多年从事数据科学相关的教学和科研工作经验，借助现有的Python语法 继续阅读

Spring Boot 中自定义数据校验注解 在 Spring Boot 中，我们可以使用 JSR-303 数据校验规范来校验表单数据的合法性。JSR-303 提供了一些常用的数据校验注解，例如 @NotNull、@NotBlank、@Size 等。但是，在实际开发中，我们可能需要自定义数据校验注解来满足特定的需求。本文将介绍如何在 Spring Boot 中自定义数据校验注解，并提供示例代码来演示它 继续阅读

最近在使用mybatisplus批量插入数据的时候，报了一个错误，代码提示语法错误： ### Error updating database. Cause: java.sql.SQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right 继续阅读

推荐编程书籍：Python数据分析实战，由人民邮电出版社2016-08-01月出版发行，本书编译以及作者信息 为：[意] 内利（Fabio Nelli） 著，杜春晓 译，此次为第1次发行， 国际标准书号为：9787115432209，品牌为人民邮电出版社, 这本书采用平装开本为16开，纸张采为胶版纸，全书共有290页字数万字，是本Python 编程相关非常不错的书。此书内容摘要 Python 简单易学，拥有丰富的库，并且具有极强的包容性。本书展示了如何利用Pytho 继续阅读

中新社北京6月22日电 (记者 孙自法)“围绕全国地震监测台网数据的汇集、传输、处理、分析和服务等全流程业务链，初步构建感知系统、信息资源、核心应用和智慧服务的新一代业务体系”“分步骤分阶段开展信息系统建设，提升防震减灾现代化水平”…… 作为中国防震减灾工作的重要业务枢纽和地震监测预报预警的国家级业务中心，中国地震台网中心根据应急管理信息化发展战略规划框架和中国地震局信息化顶层设计，全力推进信息化建设，目前已初步建成地震云计算和大数据平台 继续阅读