本文目录一览：
golang适合做web开发吗
golang适合做web开发
非常适合，可以不用任何框架，自带的库已经能做的很好了，并发效果也好，我们主要做一些大数据的前后端处理和展示，运维部署巨方便(这是大多数语言的弱点)，不用任何中间件，直接生成二进制执行，数据后台处理的瓶颈还是在数据库上而非go语言。
开发效率也很高，就是上手比起动态语言稍难，不过与后期的维护和系统的执行效率比起来多学俩三周真是值得。
Golang解析json的特殊情况处理
Go解析json遇到了大数字、不定格式等特殊情况，在此做了一个整理。
选择哪个要视输入而定。
json.Unmarshal 操作对象是一个 []byte ，也就意味着被处理的JSON要全部加载到内存。如果有一个加载完的JSON使用 json.Unmarshal 会快一些。
json.Decoder 操作的是一个 stream ，或者其他实现了 io.Reader 接口的类型。意味着可以在接收或传输的同时对其进行解析。当处理一组较大数据时无需重新copy整个JSON到内存中。
最好的选择办法如下：
默认情况下，go对json解析过程中遇到的数字都会当做float64处理。如果数字过大会有精度丢失。可以使用json.Number来处理。
输出结果：
使用 json.Decoder 只能操作 io.Reader 类型的JSON数据。
有时候遇到字段不定的JSON，需要一边判断一边解析。如：
可以先统一解组到interface{} 然后判断关键字段再进行后续处理。
结果
使用RawMessage便于分步Unmarshal
原文链接
【golang】海量数据去重-布隆过滤器
在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。
布隆过滤器是一种数据结构，概率型数据结构，特定是高效插入和查询，可以用来告诉你“某一值一定不存在或者kennel存在”。
相比于传统的map、set等数据结构，占用空间更少，但其返回结果是概率型的，不确定。
布隆过滤器内部维护一个bitArray(位数组)，开始所有数据为0，当一个元素过来时，能过多个哈希函数（hash1、hash2、hash3）计算不同的hash值，并通过hash值找到bitArray的下标，将里面的值改为由0变为1。布隆过滤器有一个误判率，误判率越低，数组越长，所在空间越大，误判率越高，数组越小，所占空间越小。
这里贴上一个技术大牛的博客地址，里面对布隆过滤器用法以及在redis里面处理缓存穿透问题的详细介绍。
本文链接：https://my.lmcjl.com/post/19579.html
4 评论