城市直播房产教育博客汽车
汽车报价
买车新车
博客专栏
专题精品
教育留学
高考读书
房产家居
彩票视频
直播黑猫
投资微博
城市上海
政务旅游

关于故障复盘的一些总结

5月5日 观潮阁投稿
  这是学习笔记的第2277篇文章
  有句话说,常在河边走,哪有不湿鞋。我身边经常会看到不少数据故障。每每碰到这些问题,原因都是让人唏嘘不已。
  而碰到故障的时候,除了通常都会说的后续改进,其实很多人对于问题的认识和理解还不够深入,这里主要包含几个方面:
  1)害怕承担更多责任,会选择性的缩小问题影响范围和通知范围
  2)如果问题不是出在自己身上,切身的感受不够深刻,觉得是在讨论别人的事情,持旁观态度
  3)对于问题的改进方向错误,比如说因为手工误操作导致故障,如果反思是直接杜绝任何手工操作,就简单粗暴,而且很难落地了
  4)关注的还是问题本身,没有从更高的角度来看待问题,通常故障都是和规范,标准,流程相关的
  所以对于故障的复盘,我觉得可以从两个大的方向来进行思考和总结,也参考了很多资料,直接搬过来了。
  1)如果快速高效的处理故障,是直面故障时信息的快速上传下达
  2)如何避免后续出现此类故障,潜台词就是可以规避,如果规避不了,参考第1条。
  所以顺着故障的背景信息来展开,我们可以尝试用如下的两个表格来进行故障复盘和总结。
  1)如何快速高效的处理故障
  复盘项
  问题点
  总结改进
  监控报警
  监控是否足够完备?
  流程监控
  报警是否足够及时?
  秒级监控、自动报障
  故障响应
  故障响应时间是否过长、能否缩短、如何缩短?
  故障电话、主备负责人
  故障定位
  故障定位时间是否过长、能否缩短、如何缩短?
  故障看板、调用网格
  故障修复
  故障修复时间是否过长、能否缩短、如何缩短?
  故障紧急发布通道、大招系统
  故障流程
  故障信息同步是否及时?
  故障信息流转系统
  用户投诉反馈是否关注到?
  投诉反馈自动聚合上报
  客户端故障公告是否按预期周知到位?
  联动客服,定期演习;及时弹公告安抚用户
  是否还存在不符合流程规范的问题
  引起二次故障的一些操作等
  2)如何避免后续出现此类故障
  复盘项
  问题点
  总结改进
  防患于未然
  有没有故障征兆?
  系统缺陷的发现机制:运维系统风险工单
  故障征兆为何没有及时扼杀?
  系统缺陷的跟进与升级机制
  不可抗力
  挖断光纤
  备用专线
  机房断电
  柴发续供
  上联交换机故障
  带状态服务打散,避免交换机聚集
  外网故障
  客户端容灾,自研解析
  用户群体性行为
  容量灵活伸缩能力
  驱动因素
  为什么要做这个变更操作?
  必要性把关
  变更方案和代码变动有没有审核review?
  变更风险评估
  影响面控制
  是否先发布到测试环境和预发布环境验证效果?
  增加变更测试和预发布验证的强制流程
  测试环境和预发布环境,为什么没有感知和拦截异常?
  预发布验证流程监控反馈建设
  这个变更操作有没有灰度
  强制灰度
  这个变更操作是否支持回退?
  变更前置的回退评估
  回退是否足够及时快速?
  升级加速渠道
  系统架构
  过载保护是否符合预期
  review分析有效输出比例
  环境耦合情况评估
  顶层高扇出,底层高扇入
  是否柔性可用
  有损大招机制
  变更管理
  变更权限管理
  按负责人收敛权限
  变更计划性
  严控紧急上线行为
  变更时间窗口
  非工作时间限制变更
  变更质量反馈
  变更监控建设
  上面的这些问题感觉还是挺不错的,可以作为一个复盘总结时的切入点,把大大小小的故障和问题的处理过程都总结出来。
  运维无小事,如果按照复盘的思维总结很多问题,那么你的知识集会越来越丰富。而相应的处理机制也会越来越健全。
  我经常和团队成员说:你怎么证明你做的事情是正确的,如果能够按照这种自证的方式解决问题,那么完全就是一种自驱模式,前途不可限量。
投诉 评论 转载

关于故障复盘的一些总结这是学习笔记的第2277篇文章有句话说,常在河边走,哪有不湿鞋。我身边经常会看到不少数据故障。每每碰到这些问题,原因都是让人唏嘘不已。而碰到故障的时候,除了通常都会……有的人确实不是一路人,不必强迫自己其实,真的,说点真是的故事,有点没必要,又觉得算是个学习过程,从中有所收获,分享一下。有一种人,就是天生的那种欺软怕硬的人,她一开始就是会伪装。刚刚开始时,我对她很好,什……据说两性之间拥有这些技巧,让你们之间的感情无法自拔男女之间的沟通,或良好的婚姻关系的维持,需要一定的技巧。激情过去,如何保持爱情新鲜,如何让你的关系更稳定!收获幸福的婚姻。这些都需要男人和女人的智慧。1、不要试图改变彼此……把握一颗珍珠的幸福一位长者讲过这么一个故事:有一个人非常幸运地获得了一颗硕大而美丽的珍珠,然而他并不感到满足,因为在那颗珍珠上面有一个小小的斑点。他想若是能够将这个小小的斑点剔除,那么它肯定会成……2020。12。29北京速写2020。12。29北京速写孙永红天气预报:29日至30日房山区有4、5级偏北风,阵风可达7、8级,最高温度10,最低温度15狂风劲歌天地动冰冷刺身袭入……洪水顺利通过13日17时,长江干流汉口站水位28。74米,较之前的洪峰水位28。77米有所下降。长江中下游洪水洪峰顺利通过汉口江段。长江水利委员会水文局实时水情监测显示,汉口站12日……和地震有关的12个单词,希望你永远用不着一直睡不着,索性码字整理了一下和地震有关的单词,希望你永远都用不上。01地震earthquake02地震带earthquakezone03余震……徐州市星光第三实验幼儿园快乐纸有你好奇、爱探究是幼儿的天性,在一次带领幼儿玩报纸游戏时,孩子们突然对纸产生了兴趣探究旅《指南》指出:要珍视游戏和生活的独特价值,创设丰富的教育环境,从孩子的需要、兴趣……天凉好个秋风渐渐凉,夏季的躁热正悄然离去,不经意间,清爽美丽的秋已经来到了身边。工作于是也变得得心应手,天热时穿不住的白大衣也能穿住了,十来个病人拿着液体几乎一起送到护办室,忙而不……开民宿如果不考虑这四个原则,最后只能以失败告终点击上方红色按钮添加关注广受青睐的民宿业出现了一些悲观论调:泡沫破灭遭遇瓶颈总结近年来民宿发展的经验教训,依据中国旅游市场的内在规律和发展趋势,民宿从业者想要自己的项目从……母亲的谎言我的母亲是个地地道道的农民,勤劳,朴实还特别爱说谎。小时候,家里条件不是很好,买上一斤肉要吃个十天半月的,每次做完母亲把碗里的肉片,都分给我们吃,说我们现在是长身体、用脑……河北职校男生查寝走红,嚣张指数堪比美玉姐,学校去给同学道歉在很多朋友眼里,高校的生活是十分令人向往的,就连明星杨超越在被质疑学历时,也大方坦言听说大学生活很美好,对这样的求学经历表示很羡慕。可是大学里也并不一定都是令人愉快的记忆……
2018励志语录,每一句都是满满的正能量!现实励志的句子,句句直戳心窝,简直太经典了2019劳动法拖欠工资超过这个天数,可构成犯罪顶级博主撕X现场,速来吃瓜!职业规划掌握四步骤,让职场迷茫远离你河南禹州白北村有条ampampquot幸福路ampampqu新上班的第一天汤鱼头豆腐学校的好和差是看生源还是师资?家长居然说出了真相国际旅游文化在线中国石泉你永远是我,念起时的暖阳中国诉讼保险诉讼财产保全责任险赔付率是多少,如何确定?
简析19世纪前期英国西非殖民活动中的环境医学隐形乳贴到底应该如何清洗和保养贵妃石浅析Facebook改版设计寿命长短,不取决于衰老和疾病?5个小提醒,希望你听进去开学自我介绍英文演讲稿推荐天要下雨为什么要与娘要嫁人连在一起?活动应急预案水发集团打造全国冶金行业首个零排放项目芒种基本信息如何清洗帆布鞋木头刷什么漆防水防腐(木头刷什么漆防水防腐防虫)热传聚热点网

友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找江西南阳嘉兴昆明铜陵滨州广东西昌常德梅州兰州阳江运城金华广西萍乡大理重庆诸暨泉州安庆南充武汉辽宁