杰网资源 Design By www.escxy.com

目前,我开发 HTTP 服务, 用的是 beego框架, 方便了很多。

但是, 有时候,还是会遇到一些 特殊的场景。

比如: 过滤日志。

这应该是一种典型的stream,同时数据量也适中, 不会有人,为了这个, 就用一些很重的框架。

可以这样直观的描述这个 逻辑

其他组件 产生 log
||
\ /
我的组件,业务处理
||
\ /
用户, http client

这种情景下, 有几个特殊点:

1. 难以用 string,或者 byte 数组 收集数据

2. 数据Source 端,不断的有数据产生

3. 数据缓冲,如果占有的 内存太多, 可能导致 服务崩溃

通常情况下,我们准备好数据, 然后调用Beego框架的方法,将数据发送到客户端,就不管了。

而如果,我们需要根据处理的情况,多次写数据到客户端,该怎么办呢?

首先,对于 这种简单的 流数据, golang 提供了一个 结构。

pipeReader, pipeWriter := io.Pipe()

这个方法的原型是这样的

func Pipe() (*PipeReader, *PipeWriter)

它返回紧密相连的一对 Reader 和 Writer。 他们的“生命周期”相同。

任何 写到 Writer中的数据, 直接流到了Reader中。这个 和 Linux 命令行中 “管道 |” 很像。

我们先开个goroutine 接收 日志数据

 go func () {
 for {
 var log []byte
 //log = 
 pipeWriter.Write(log)
 
 //break;
 }
 pipeWriter.CloseWithError(io.EOF)
 }

主逻辑中, 处理日志

 defer pipeReader.Close()
 rr := bufio.NewReader(io.Reader(pipeReader))
 for {

 line, err := rr.ReadBytes('\n')
 if io.EOF == err {
 break
 }
........
 }

最后, 输出到客户端

var out []byte
ctl.Ctx.ResponseWriter.Write(out)
ctl.Ctx.ResponseWriter.Flush()

总结:

iopipe 直接 对接了 日志输出, 缓冲很小,

处理后的结果, 直接输出到 http 客户端。

尤其是第二点,很重要,我在处理这个逻辑的时候, 发现服务器,有几次意外崩溃,后来,才意识到,beego的controller 如果缓冲 处理后的数据,有可能仍然占有大量内存。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。

标签:
golang,HTTP,服务器日志,Stream流

杰网资源 Design By www.escxy.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
杰网资源 Design By www.escxy.com

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。