阿里云资深DBA专家罗龙九:云数据库的安全和稳定是一个全链路的事情

  • 时间:
  • 浏览:0

议题简介:《云数据库十大经典案例》以MySQL数据库为例,埋点埋点了自RDS成立至今,用户在使用RDS过程中最常见的难题图片,包括:索引、sql优化、锁、延迟、参数优化、连接数、cpu、iops、磁盘、内存等难题图片;另一个 个案例的身旁都不 另一个 个活生生的生产故障,希望通过这俩 案例的总结,还原难题图片原貌,给出分析难题图片的思路,你爱不爱我有一天,当你遇到同类难题图片的已经 还会 触类旁通,举一反三,帮助你快速防止难题图片。

一年后,新业务刚开始英语 英语 使用MySQL做底层数据库,他刚开始英语 英语 学习MySQL,接着就被调派到淘江湖做MySQL。“那段时间淘宝线上数据库都不 很稳定,我很主动地参与线上故障的排查,并进行总结和分享。”这段经历,让这位跨界的人技术又迈上了另一个 新台阶。

他建议,对于有些安全程度要求较低的数据,对应的安全策略是:配置了HA高可用;每月一次验证备份的可靠性,备份保留80天;共同关闭公网访问机会采用VPC、IP白名单;涉及到用户隐私的高级数据,云数据库的安全策略进一步升级:首先云数据数据库密码是1-3月更换一次;共同打开TDE加密;数据备份完正存储在OSS中,可保留90天之久;此外数据库还应该支持同城容灾。对于核心数据而言,云数据库首先在应用层加密,支持SSL加密传输,备份可保留720天,共同支持跨地域容灾和两地三中心的部署土方式(完正可参考“你的数据在云上,安全吗”https://yq.aliyun.com/articles/57159)。

机会要总结一下励志的话 ,玄惭称,从肩挑背扛到99%聚石塔订单,ApsaraDB经历了四年的技术沉淀和突破:2012年,肩挑背扛和逐个优化;2013年,指数增长的数据链路改造;2014年,注入拦截保证数据安全;2015年,资源自动离散与收容和自动化诊断。通过这俩 年的沉淀、打磨,ApsaraDB在稳定,安全,性能上大大提升,这后面 的辛苦也可想而知,具体还会 阅读“【复盘】从肩挑背扛到99%聚石塔订单,AliCloudDB四年双11技术突破”( https://yq.aliyun.com/articles/225)。

虽然过多计算机科班出身,但玄惭对数据库非常感兴趣,早在大学就立志成为一名优秀的DBA,而是 他在大二刚开始英语 英语 学好Oracle的数据库。Oracle数据库是另一个 非常成功的商业数据库,有着非常完善的体系型态,玄惭在Oracle数据库体系型态上的三年沉淀,也给他快速学习MySQL埋下了深厚的基础。

每有些人都不 有些人的成功之道,玄惭的成功之道或许假如有一天机会有另一个 爱总结的习惯。玄惭说,他老是把遇到的技术架构、典型难题图片、故障分析记录到博客中。

2015年天猫双11高峰期间订单创建每秒达到14万笔,总订单量达4.78亿,所有天猫商家的订单、物流、商品和库存等数据都不 通过数据推送最终存储到ApsaraDB中。为了承受另另一个 的业务,阿里云数据库做了而是 优化,玄惭就此分享了安全和稳定性上的优化看法。

高峰期间集群总QPS达到近80W每秒;

单个商家最高防止订单的能力超过80万单;

百万商家在AliCloudDB上稳定运行,全网实现了0故障,0丢单。

聘请专职DBA比较昂贵,大多数公司都越来越 DBA岗位,而是 都不 运维、开发机会技术负责人来担任DBA角色。但随着云计算的发展,DBA的角色也在慢慢发生改变。DBA还会 把有些日常重复的运维工作交给云,包括机器采购、实例安装、基础备份和监控,而DBA的工作重心则转移到业务和数据架构中,从数据的流动、数据的生命周期、数据分析、数据安全等多个深层去帮助业务发展,从整个系统数据的全链路出发,从应用→缓存→分布式→NoSQL→SQL,根据其公司的业务特点确定要花费的数据存储架构,而是 有有些公司都不 了DA这俩 角色。

在稳定性上,玄惭补充到:“冗杂的系统的稳定运行离不开另一个 必不可少的系统,即全链路的监控系统和巡检系统。”巡检系统帮助你把系统各个组件日常运行过程中再次出现的难题图片暴露防止,把难题图片消灭在萌芽阶段,防范于蔚然,巡检规则需要你不断地去完善,这需要另一个 过程;全链路监控系统帮助管理者还会 清晰地判断难题图片再次出现在那里,系统的各个部件清晰地展示在你的身旁,当难题图片发生已经 还会 快速定位难题图片,降低故障再次出现的时间。他认为,特别是在冗杂的系统中,有十几二十多个部件,越来越 全链路的监控系统,根本就无法掌控。

这位阿里技术专家也很实诚,他坦言ApsaraDB还会 承受住越来越 大洪峰压力也都不 一蹴而就,回顾整个历程,系统一刚开始英语 英语 都不 越来越 的完善和稳定,有另一个 慢慢发展的过程,系统有另一个 逐步标准化的过程,随着规模化越来越 大后,需要系统自动化的去做有些事情,降低管理运维成本,当前两步心智心智性成熟期期 期期后,又刚开始英语 英语 对现有系统中积累的数据刚开始英语 英语 进行分析,产生出价值,为用户和平台提供更好的价值和利润。而是 沿着后面 的演进,让我们 儿诞生出来而是 系统出来,比如云数据库运维平台杜康,自动修复告警和异常的robot系统,自动迁移离散的移山系统,巡检系统吹沙,全链路监控系统,天象智能运维系统,CloudDBA专家服务系统等等,有了这俩 系统的帮助大大降低了管理成本共同为客户带来增值服务。

他认为,安全和稳定是另一个 全链路的事情,从客户的应用端访问,到后面 链路层,最后到底层的数据存取,要构建另一个 安全和稳定体系十分冗杂。“以ApsaraDB MySQL安全能力的构建思路与土方式,安全的难题图片需要从事前、事中、事后另一个 时间轴,以及存储层、网络层、访问层、应用层另一个层面,立体化地构建防止方案。于企业而言,不同的数据需要不同安全策略。”

“还有另一个 值得分享的案例是2013年底快春节了,团队同事都不 共同吃年夜饭,另一个 用户有些人的错误操作删除了数据库。当时RDS产品策略是不支持那种场景下的数据恢复,让我们 儿完而是 不 理由拒绝他。有些另一个 公司的人都不 等待的图片 着恢复业务,数据恢复都越来越 来机会让我们 这俩 2014年的春节都过不好了,而是 最后马上回到家中,联系开发,经过一夜鏖战,用通特殊手段,最终把用户的数据恢复了出来,那种心里得到用户感谢的滋味是无法用语言进行描述的。”

7月20日晚8点,将由阿里云资深DBA专家罗龙九《云数据库十大经典案例总结和反思》,下面是本次演讲议题详情。

在这里,玄惭把在淘宝工作中学习到的运维经验和最佳实践运用于RDS。从日常工作做起,有些点帮助RDS变得更加稳定、安全和易用,让更多的人还会 低成本地享受到阿里在数据库积累的技术产品和服务,普惠更多的人。与此共同,玄惭也刚开始英语 英语 深层关注自动化运维、云数据库生态、企业云服务等领域。

峰会统一报名链接:https://yq.aliyun.com/webinar/join/23

首届阿里巴巴在线技术峰会(Alibaba Online Technology Summit),将于7月19日-21日 20:00-21:80 在线举办。本次峰会邀请到阿里集团9位技术大V,分享电商架构、安全、数据防止、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验,解读最新技术在阿里集团的应用实践。

这是去年双十一期间,表现坚如磐石的AliCloudDB交出的成绩单。靓丽成绩单的身旁是AliCloudDB团队众多技术专家努力的成果,这其中,都不 让我们 儿今天的主人公——AliCloudDB团队核心专家玄惭(罗龙九)的身影。

“第另一个 案例是在2013年双11筹备期间,让我们 儿的另一个 大客户数据库越来越 装入 RDS中,在本地自建的机房中,研发人员在测试环境跟生产环境之间的来回操作,误把生产环境的几张核心表数据删除了。当时本地越来越 备份,越来越 开启binlog,最后虽然越来越 土方式求助到让我们 儿,一刚开始英语 英语 让我们 儿也准备放弃了,认为这俩 数据恢复是完正越来越 机会的,在放弃的那一时刻,我你还会 到了机会今天数据删除的是我,我会是这俩 样焦急如焚的心情,而是 当时就到处寻求土方式,最后找到一篇技术文章,抱着一定要防止用户难题图片的心情,最后通过percona recovery tool这俩 工具,帮助用户把数据恢复出来,让我们 的技术负责人专程从山东过来杭州来感谢让我们 儿。”

阿里巴巴在线技术峰会专题:https://yq.aliyun.com/activity/97

峰会统一报名链接:https://yq.aliyun.com/webinar/join/23

你爱不爱我这有另一个好处:“第另一个 是对知识的重新梳理,帮助我加深对难题图片的理解,以便难题图片在下次遇到的已经 还会 快速反应过来;第另一个假如有一天帮助别人,写到博客上还会 让更多的人看过,另另一个 让我们 机会再次出现同样的难题图片,让我们 也还会 快速找到防止方案,有已经 我也会变懒,有些假如有一天这俩 原应督促我去写博客和总结,机会心里老是认为上天给我了这门技能,假如有一天要你去分享帮助别人的;第另一个 好处假如有一天会在准备各种各样的大会PPT时,还会 放慢的拿到素材,过多去翻邮件,到处找资料,很方便;第另一个假如有一天这俩 经验的积累沉淀为让我们 儿后续的专家服务产品打下了基础,把诊断经验产品化,让更多的人受益。”玄惭最后点题称,总结下来一要有兴趣,二要去实践,三要善于总结,四需要有这俩 利他的精神。

尤其是在阿里,公司对DBA非常重视,“机会让我们 保护着公司最宝贵的财产,共同给业务部门提供端到端的数据库服务。”玄惭说。

那一名优秀的DBA应该具备这俩 次要?玄惭称,首先应该具备责任心和敬畏心,他认为这是基础,“另一个 企业最宝贵的资产在你手上,需要要具备这俩 次要。”其次,防止线上的故障时,需要有大心脏去扛住外界的压力,共同还需要细心,让他在冗杂多乱的环境下抓住难题图片的本质,快速防止难题图片;“最后,还需要有另一个 乐于总结分享的心态,我见到而是 业界Top专家都具备这俩 特点。”

在阿里云数据库团队,玄惭被让我们 儿称为“MySQL专业大神”。然而盛誉的标签下,他的本科却是教育技术专业,“机会而是 人都没听说过这俩 专业。” 你爱不爱我。

……

最佳实践埋点了阿里多年在数据库上的开发经验和内核团队在MySQL上的优化实践,以及众多专家在防止各类难题图片后积累下来的最佳实践,希望还会 帮助你在使用RDS的路上少有些弯路,多有些从容。

附图:阿里巴巴在线技术峰会整体议程

这俩 利他精神,在玄惭看来,不仅仅能提高有些人难题图片防止能力,提升运维自动化水平,提升产品心智心智性成熟期期 期期和易用度的已经 ,也会有另外这俩 心情。

2012年,云计算刚开始英语 英语 慢慢发展起来,玄惭到了阿里云DBA团队,负责RDS的基础运维工作、历年双11的护航保障和RDS的专家服务。

玄惭在首届阿里技术峰会上分享的《云数据库十大经典案例》议题,是以MySQL数据库为例,埋点埋点了自RDS成立至今,用户在使用RDS过程中最常见的难题图片,包括:索引,sql优化,锁,延迟,参数优化,连接数,cpu,iops,磁盘,内存等难题图片。他称,另一个 个案例的身旁都不 另一个 个活生生的生产故障,希望通过这俩 案例的总结,还原难题图片原貌,给出分析难题图片的思路。他认为,你爱不爱我有一天,当你遇到同类难题图片的已经 还会 触类旁通,举一反三,帮助你快速防止难题图片。最佳实践埋点了阿里多年在数据库上的开发经验和内核团队在MySQL上的优化实践,以及众多专家在防止各类难题图片后积累下来的最佳实践,希望还会 帮助你在使用RDS的路上少有些弯路,多有些从容。

这位经过四年双十一沉淀的阿里技术专家还表示,这俩 议题对开发、运维、DBA、架构师都具有非常好的参考指导意义,“当然机会你是另一个 公司的技术负责人,我也希望你还会 学习,这俩 议题在深圳和成都云栖大会上都非常受欢迎,我你还会 假如有一天对数据库感兴趣的人,都还会 来听一听。”

议题:《云数据库十大经典案例总结和反思》

对于第四点,他还特别分享了另一个 案例。

本次峰会完正开放,免费注册,4天 夜间技术交流、每场1.5小时深层分享、长时间互动答疑、素材第一时间公开、用户组同步搭建, 让我们 儿希望搭建起业内开发者与阿里技术专家在线交流分享的平台,构建更加开放和共享的技术生态!

2010年,玄惭进入淘宝DBA团队,负责淘宝开放平台的数据库支持工作。“这是另一个 高并发,高压力以及雄厚的应用场景的环境,会逼着你去想,去突破,不然就会阻碍业务的发展。”

分享嘉宾:罗龙九

嘉宾简介:阿里云资深DBA专家,有着雄厚的DBA经验,经历阿里历年双11考验,负责阿里云RDS线上稳定以及专家服务团队,积累了6年对阿里云数据库用户的运维、调优、诊断等雄厚的经验。

他们说“入对行,‘学’对人”特别要,即将在首届阿里巴巴在线技术峰会进行分享的玄惭,究竟是咋样的另一个 人?他对DBA这俩 岗位有着咋样的理解?对过去的技术经历都不 这俩 样的认识或感悟?下面的内容,或许能让他多深层认识这位阿里专家。