Hagex-day info

紅茶とお菓子について書いているほっこりブログです

謎の障害が発生

この手のトラブルはネットではよく見るが……
・今までにあった修羅場を語れ【その19】

48 :名無しさん@おーぷん:2016/09/26(月)14:15:13 ID:1Ad
ずいぶん前の話。
昔、SEやってた。
かなり大きなプロジェクトのPL(プロジェクトリーダー)
やってた時の話。
まあいろいろとトラブルもあったが
なんとか乗り越えてお客さんに引き渡した。
その後、オペレーションテスト(客先/本番機で
仕事も全て実際に使用するであろうメンバで行う
テスト)を行ったのだが、なぜかときどき
夜中にデーターが吹っ飛ぶ。
決められた時間というわけではないのだが、大体似たような時間帯、でも日時は不定期。
仮のメンバで仮のデータを入力しているので
なにかがパンクしたということもない。
データセンタはお客さんの自前で、しかもとっても
しっかりしたつくり。
飛んだ日の共通点もさっぱり思いつかず。

49 :名無しさん@おーぷん:2016/09/26(月)14:15:35 ID:1Ad
経験した人ならわかると思うけど、きっかけもない、決められた周期でもない
人も介在していないという障害はとっても苦労する。
ソフトウェアは全て見直し、ありとあらゆるストレスを
与えても解決せず。インフラの連中は線から機器から
すべてやり直しても何にもかわらない。
自前でテストしても全くおこらない。
同じ構成でも全くおこらない。
もうコンセントからラックから全て同じにしてみたけど
起こらない。
でも、現地に行くと起こる。しかも原因はばらばら。
もう泣きそうになった。

50 :名無しさん@おーぷん:2016/09/26(月)14:16:00 ID:1Ad
仕方ないので、こうなったら実際の現場を見てやろうと
客先に泊まらせてもらった。
営業やらお客さんは手伝ってくれると言ってくれたけど
全部の動きを知るのは数人だけ。
当時PM(まあPLより偉い人)の上司と男二人で
寒いサーバールームに毛布を抱えてじーっと見る
なかなかシュールな状況でした。

51 :名無しさん@おーぷん:2016/09/26(月)14:16:48 ID:1Ad
それを何日か続けた時、朝四時ごろにいつものように
 「おはようございまーす」
と掃除のおばちゃんたちが掃除し始める。
いつもの光景だけど、ある一人のおばちゃんが
いきなりボタンをかちかちいじり始める。
こちらににっこり笑いながら
「ここは埃が貯まりやすいのよねぇ」

52 :名無しさん@おーぷん:2016/09/26(月)14:17:53 ID:1Ad
その瞬間、原因がわかりました。
起きた日時と、そのおばちゃんのシフトが入る日は一致しました。
おばちゃんはきちんと説明はされていたけど
ボタンの形が違うのでこっちは良いとか思っちゃったらしい。
しかも毎回違うスイッチ押してたっぽい。
こっちは何日も寒い場所で過ごしたので、怒るより涙が出るほど
うれしかった。
この後、一切障害はでなくなった。

53 :名無しさん@おーぷん:2016/09/26(月)14:18:09 ID:1Ad
お客さんは平謝り、その後は自分の技術力より毛布持ち込んで何日も泊まる
根性を買われて贔屓され、部下もプログラマーも根性ある奴と
頼りにしてくれて、まあ悪い思い出だけではなかった。
クラウドだのこじゃれた言葉もなく、まだ会社に持たされた
携帯電話がPHSだったころの話かな。
最新のサーバルームをおばちゃんが雑巾で掃除するような
まだいい加減な時期。
人生最大の修羅場でした。