本文目录一览:
golang适合做web开发吗
golang适合做web开发
非常适合,可以不用任何框架,自带的库已经能做的很好了,并发效果也好,我们主要做一些大数据的前后端处理和展示,运维部署巨方便(这是大多数语言的弱点),不用任何中间件,直接生成二进制执行,数据后台处理的瓶颈还是在数据库上而非go语言。
开发效率也很高,就是上手比起动态语言稍难,不过与后期的维护和系统的执行效率比起来多学俩三周真是值得。
Golang解析json的特殊情况处理
Go解析json遇到了大数字、不定格式等特殊情况,在此做了一个整理。
选择哪个要视输入而定。
json.Unmarshal 操作对象是一个 []byte ,也就意味着被处理的JSON要全部加载到内存。如果有一个加载完的JSON使用 json.Unmarshal 会快一些。
json.Decoder 操作的是一个 stream ,或者其他实现了 io.Reader 接口的类型。意味着可以在接收或传输的同时对其进行解析。当处理一组较大数据时无需重新copy整个JSON到内存中。
最好的选择办法如下:
默认情况下,go对json解析过程中遇到的数字都会当做float64处理。如果数字过大会有精度丢失。可以使用json.Number来处理。
输出结果:
使用 json.Decoder 只能操作 io.Reader 类型的JSON数据。
有时候遇到字段不定的JSON,需要一边判断一边解析。如:
可以先统一解组到interface{} 然后判断关键字段再进行后续处理。
结果
使用RawMessage便于分步Unmarshal
原文链接
【golang】海量数据去重-布隆过滤器
在做域名爆破中,遇到了把一个300G的子域名json文件进行去重,一开始是考虑使用字典进行去重,但是数据量大了,会造成内存泄露。看网上资料介绍了一种方案,就是使用布隆过滤器。
布隆过滤器是一种数据结构,概率型数据结构,特定是高效插入和查询,可以用来告诉你“某一值一定不存在或者kennel存在”。
相比于传统的map、set等数据结构,占用空间更少,但其返回结果是概率型的,不确定。
布隆过滤器内部维护一个bitArray(位数组),开始所有数据为0,当一个元素过来时,能过多个哈希函数(hash1、hash2、hash3)计算不同的hash值,并通过hash值找到bitArray的下标,将里面的值改为由0变为1。布隆过滤器有一个误判率,误判率越低,数组越长,所在空间越大,误判率越高,数组越小,所占空间越小。
这里贴上一个技术大牛的博客地址,里面对布隆过滤器用法以及在redis里面处理缓存穿透问题的详细介绍。
本文链接:https://my.lmcjl.com/post/19579.html
4 评论