 |
 |
|
 |
 首页 >> 学院 >> 就业培训 >> 纵横职场 |
|
|
| 一位数据库管理员DBA的成长之路 [纵横职场] |
|
| 2008-4-28 14:57:00 文/ |
|
光有理论还不行，还需要通过实实在在的工作去应用理论。通过管理开发库与测试库，处理涉及开发库与测试库的各种事务，对数据库的日常操作，对操作系统的日常管理慢慢都熟悉起来。每遇到一个问题，都是一次成长的机会，通过请教同事，或者通过搜索引擎去查找解决问题的方法，解决完问题后，并把这次事故用文档的方式记录下来。刚开始时，我并不太想写文档的，但在piner强大的压力之下，开个玩笑，其实是piner的文档写得太好，心有不甘，没有理由比他差的，我也可以写得很好。正是在piner的鼓励下，我不断的完善着开发库的文档，到现在，文档已经非常全了。
后来遇到了数据迁移的项目，我有机会接触到光纤交换机，CX-300，CX-500，在piner的培训下，这些东西很快就会了，通过整个项目的实施，对SAN架构有了更加清晰的认识。其实这些东西并不是那么难的，每种东西就那么一两个关键点，你把那点搞懂了，对这个产品也就明白了。
不多久又遇到了我们的生产库磁盘柜备份变慢的问题，写速度超级慢，读勉强还可以，我接到了诊断此问题的任务。由于大家在这方面都没有什么经验，只能不断的猜测与尝试，刚开始时我们怀疑是RAID卡的插槽的问题，因为那几个插槽是共享的I/O总线，以为通过更换RAID卡插槽可以提高性能，把服务器搬上搬下，当时只有我一个人，连续几个回合，我就吃不消了，手割伤了都不知道，最终这些努力都失败了，因为这不是问题的真正原因。后来联系了DELL的工程师，他们也搞不清原因，来抱着试试的态度，升级了RAID卡的BIOS,并改了一下参数，问题马上就神奇般的解决了。但我问他们原因，他们也讲不清楚，为什么?通过此事，我明白一个道理，不要对硬件厂商的售后服务能力期望太高，但也不能太低，有时他们也可以解决问题的，尽管他们不知道为什么?呵呵。但没过一个星期，问题又再次出现，这次，我没有让问题的真正原因溜走，进入raid卡的配置界面，发现一些参数自动发生了变化，我很快意识到是硬件的变化导致相应的管理软件的参数发生变化，联系厂家，更换了硬件，问题解决。至于DELL的工程师为什么那次改了一下参数后，性能又好了，那应该是因为RAID卡还没有坏彻底吧，还能够勉强正常工作!
总之，问题是不断的出现，通过自己的努力，不断的去解决，自己解决问题的能力也在不断的提高。由于自己的出色表现，再加上工作上需要，我开始进入项目。
2007年即将结束,总得写一篇文章给自己一个交待.打开blog的编辑页面,却又不知道从何写起.这一年发生的事情太多,但还是以我的成长为主线,来回顾2007年.
2007年的第二个季度,我开始独立承担CTU重构项目.原来的CTU系统一直存在着或多或少的问题,使数据库一直处于不太稳定的状态,机器负载很容易升得很高.当接手这个项目的时候,首先把statpack报表sql部份非常仔细认真的看了好几遍,把主要的问题都一一列举出来,并在项目评审设计阶段,反馈给开发工程师,大家一同商量对策!其实在最初的重构设计方案中,许多数据库性能问题仍然没有解决,经过与设计人员的反复沟通,优化重构设计方案,主要是相关的表结构设计,这些改进,优化了程序实现的方式,大大提高了程序性能,并解决了数据库的性能与可靠性问题.所有这一切在2007-6-14项目发布后,得到了验证.逻辑读,物理读,机器负载都大大下降.从发布到现在,CTU的数据库一直健康稳定的运行着,再也没有出现过性能问题,这都得益于设计,以及后来的可能存在数据量隐患的SQL的改写.这个项目也成功当选淘宝2007年第三季度优秀项目奖。
跟CTU项目同时进行的,还有淘宝新机房的建设.在piner的帮助下,完成小型机,DMX-3,光纤交换机,网络等所有基础设施的搭建工作.接下来,就是ORACLE数据库软件的安装，OS参数调整，对于生产库的安装以及参数调整，一定要格外的认真仔细，任何的不小心，都很有可能给将来的正式运行留下安全隐患。在这些准备工作做完之后，需要对搭建起来的系统进行测试，让数据库跑起来，并使用loadrunner进行压力测试。在进行压力测试的过程中，AIX操作系统hung住了，piner也在他的blog里面记录了这件事。这是一件比较麻烦的事，而且如果不能解决，找不到原因，根本就不敢把生产系统移到上面来。IBM厂商的工程师也把dump文件拿回去分析，我们自己也在到处找资料。IBM的工程师迟迟找不到原因，我们也继续在internet上google.piner发现了一AIX上的调优文档发给了大家看，当天晚上，我在这本电子文档里发现了一个很有意义的公式,也有我的blog里面的这篇文章《管理AIX操作系统的虚拟内存》,这个公式：SGA < 物理内存 * (maxpin% - 10); 其实后来一系列的实践证明，此公式是正确的(偏移10%可能幅度还不够，可以15%到20%)。这个偏移量的存在，源于操作系统也需要pin住很多内存,但具体这些pin住的内存作什么用，我到现在也不是很清楚，可能是OS一些非常核心的东西，比如说放一些管理结构与控制结构等等。但从此，我们有了理论的指导，正确的设置maxpin%参数，与合理的SGA大小，操作系统再也没有hung住。新机房也如期投入生产运营。
2007年的第三季度，我的工作由开发DBA转为产品DBA，全面负责产品库的基础设施搭建工作，比如说小型机硬件升级，OS升级，存储重构，ORACLE安装，数据库备份，监控系统的完善等等工作。在这个季度里，基本上每周都要去机房，而且经常一呆就是连续好几天，耳旁伴着的是嘈杂的小型机与HDS存储巨大的声音，在那些日子里，我的睡眠质量是特别的好，倒床三分钟内，基本上就能睡着。呆了几天后，从机房回到公司，看着明亮而安静的办公场地,心里感到格外的舒畅。在这个季度里，高质量的完成产品库的各项建设工作，自己对主机，OS,高端存储也有了进一步的认识与提高，谢谢piner在这段时间内的耐心指导。
淘宝开发团队的日益壮大，再加产品库的建设工作也搞得七七八八了，因为工作的需要，在2007年第四个季度里，我从产品DBA转向开发技术支持的角色，开始负责两个团队的日常需求与项目的技术支持，以及淘宝的新东西推荐引擎的相关工作，还要负责一些产品库的建设工作,其中一项是HA建设。在淘宝，为了保证产品的质量，我们制定了很多的流程，与我们DBA相关的就有好几个，这些流程，我开始也不熟悉; 在经过短暂的交流后，就开始匆匆的做各种日常需求，在实践中熟悉各种流程后，并通过邮件，当面交流等各种形式向广大开发，PM介绍与DBA相关的流程，在做了这些之后，整个流程的处理速度明显加快，大家也熟悉并且接受了这种按流程做事的方式，不用进行大量的反复的不必要的沟通工作。在淘宝，技术支持的工作主要包括以下一些方面，参与项目设计，sql审核，在开发环境与生产环境创建相关的表结构与索引等等。经过一个季度的锻炼，对各种应用系统都有相当程度的了解，对业务的理解也更加的深入。在ORACLE的技术成长道路上，sql performance tunning也有了很大的提高，这其中最关键的莫过于对统计数据的掌握的深度上,并应用这些知识，解决了一系列生产库上SQL语句的性能问题以执行计划变更问题。
在第四季度，随着对业务理解的深度上的进一步提高，对网站一些重要基础架构提出了自己的设计与解决方案.这些就不透露了!
在淘宝这样高速发展的公司里，每一天都是一个挑战。我们都不得不去面对一些新的问题，我们唯有不断去提高自己，提供一些新的解决方案，to handle these problems 。
·IT产品报价大全 |
|
|
|
|
[第一页] [上一页] 1 2 3 [最后一页]
|
|
 相关文章 |
|
|
|
|
 |
|
 |
|
|
