背景 存储与计算资源是数仓建设的基础,也是数仓建设中的重要成本支出。而随着数仓建设规模逐渐扩大、时间跨度逐渐拉长,将不可避免的出现数据表、任务、字段的冗余。为了减轻资源负担,降低数仓维护成本,需要对数仓建设成本进行治理与优化。 技术路线 针对数仓建设成本治理的粒度从大到小可以分为:数据表、数据任务、数据表字段。从粗到细的治理优化思路如下: 当发现低频使用的数据表时,下线对应数据表的同时也删除 继续阅读
Search Results for: 粒度
查询到最新的3条
结构型设计模式07-享元模式
享元模式 1、享元模式介绍 享元模式是一种结构型设计模式,旨在**通过共享对象来减少内存使用和提高性能。它主要用于处理大量细粒度对象**的情况,其中许多对象具有相似的属性和行为。 在享元模式中,对象分为两种类型:内部状态(Intrinsic State)和外部状态(Extrinsic State)。 内部状态是对象的固有属性,它们不随外部环境的改变而改变。外部 继续阅读
mysql的锁和事务
mysql的锁 读写锁: 读锁是共享锁,多个用户在同一时刻可以读取同一资源,相互不受干扰写锁是排他锁,写锁会阻塞其他的写锁和读锁,这样可以确保在指定的时间内,只有一个用户可以写入 锁的颗粒度: 想要提高并发性,就需要尽可能的只锁住需要修改的资源,而不是所有资源同时加锁也需要消耗资源,锁的各种操作都会增加系统的开销,影响系统的性能所以锁的策略就 继续阅读