77テラ！！！

弊社100％の語感の良さ

弊社100％の責任で謝ったことないんだけどこういう書き方するもんなの？

外資がこれ言うのよっぽどだよね

>弊社100％の語感の良さ
そうさ100％弊社〜

君は1000％

これバックアップごと飛ばしたとかじゃなかったっけ

>これバックアップごと飛ばしたとかじゃなかったっけ
じゃあどうしようもないじゃん

土下座通り越して土下寝ぐらいの謝り方

100％って凄いな

やはりテープのバックアップが必要…

この人どうなったんだろう

古いファイルのお掃除用シェルスクリプトの改修
実行中にスクリプト差し替えたらbashの仕様上差し替え後の内容が途中から読み込まれて全部消えた

>>弊社100％の語感の良さ
>そうさ100％弊社〜
もう謝るしかないさ

>弊社100％の責任で謝ったことないんだけどこういう書き方するもんなの？
弊社100%の責任で謝る機会がそうそうないからひな形も無さそうだし伝わりやすさ重視でいい書き方だと思う弊社100%の責任

>実行中にスクリプト差し替え
なんでそんなことを…

死ぬほど詰められたのは分かる

>>>弊社100％の語感の良さ
>>そうさ100％弊社〜
>もう謝るしかないさ
この会社中の誠意抱きしめながら

>古いファイルのお掃除用シェルスクリプトの改修
うｎ
>実行中にスクリプト差し替えたら
オオオ
イイイ
>bashの仕様上差し替え後の内容が途中から読み込まれて全部消えた
オオオオオオ
イイイイイイ

言うて49TBは戻るのか

>この人どうなったんだろう
担当じゃなくて上の人間の首がポンポンするレベル
本人は意外と処罰は軽くて居た堪れなくなって自分から消えたりすることもある

このレターみてたら急に胃液が喉元まで来たから
たぶん思い出しちゃダメなこと思い出しかけてる

>このレターみてたら急に胃液が喉元まで来たから
>たぶん思い出しちゃダメなこと思い出しかけてる
(データ吹っ飛ばしたんだな…)

今後の対策って言ってるけどこのあとも仕事任せてもらえるの…？

実行中スクリプト差し替えって割と起きがちで
編集しただけでも今動いてる最中の評価すごいことになるからな

俺が入った現場で本番環境が/home/admion/dropboxで動いてたんだけど
もしかして正解だった？

>>このレターみてたら急に胃液が喉元まで来たから
>>たぶん思い出しちゃダメなこと思い出しかけてる
>(データ吹っ飛ばしたんだな…)
（記憶もいっしょに…）

億単位のお金払わなきゃいけないミスだと現場が謝ること逆に無くなるんだよね…怖いね…

この消えた28tbのファイルの中に将来の重要な発見に繋がりそうだったデータとかもあったんだろうか

マルチユーザーで共有領域のシェルスクリプトを更新するとき誰かが実行中だと大事故が起きるの大昔からある罠だと思う

>バックアップスクリプトには、findコマンドを用いて10日以上古いログファイルを検索・削除する処理が含まれている。日本ヒューレット・パッカードの担当者は同スクリプトの機能改善と併せてコードの視認性や可読性を高めるため、findコマンドの検索・削除処理に渡す変数名を変更。この修正スクリプトのリリース手順に考慮不足があった。
>bashはスクリプトの実行中も適時スクリプトファイルからコマンドを読み込む。日本ヒューレット・パッカードの担当者はこれを認識しておらず、スクリプトが実行中の状態で内容を書き換えた。結果、上書きしたスクリプトの再読み込みが発生し、未定義の変数が含まれたfindコマンドが実行された。これにより、ログディレクトリ配下にあるファイルを削除する本来の処理ではなく、/LARGE0ディレクトリのファイルを削除する誤動作が発生したという。

京都大学のスパコンに被害出したって損害自体もさることながら対外的なイメージも最悪だもんな

ヒューレットパッカードって合同会社だったんだ…

ヒューレットさんとパッカードさんの会社だぞ

>この消えた28tbのファイルの中に将来の重要な発見に繋がりそうだったデータとかもあったんだろうか
わからん

ただファイル削除が実行された期間は12月14日午後5時32分からスクリプトを止めた16日午後0時43分までの約43時間に及んだ。影響を受けたのはスパコンの利用者約1600人のうち68人にとどまったものの、消失ファイル数は約3400万、容量は約77テラバイト（TB）に達した。

だめだこのスレ危ない
何かを思い出す前にこのスレ閉じないと俺が危ない
心臓がドキドキしてくる

だめっちゃだめなんだが
やっぱバックアップはある程度複数保存とかそういうの欲しいよね

横河電機と本国ヒューレットパッカードの合同会社だよ

これやっちゃった人どうなったんだろう…

>だめだこのスレ危ない
>何かを思い出す前にこのスレ閉じないと俺が危ない
>心臓がドキドキしてくる
はよ寝ろ

まじの話だと直近でクラウドでLLMのゼロから学習でミスったら5000万円無駄になった
弊社のサービスログでLLamaゼロスクラッチしようとしたら途中で勾配消えててゴミモデルができた

>だめだこのスレ危ない
>何かを思い出す前にこのスレ閉じないと俺が危ない
>心臓がドキドキしてくる
恋だよ

>俺が入った現場で本番環境が/home/admion/dropboxで動いてたんだけど
>もしかして正解だった？
よくわかんないんだけどコンビニのwifi経由で社内ネットワーク構築してるみたいなかんじ？

ここまでの事故だと逆に個人の責任はあまり問われない気がする
その後針の筵だろうけど

さすがスパコン削除処理もはえーぜ

>まじの話だと直近でクラウドでLLMのゼロから学習でミスったら5000万円無駄になった
>弊社のサービスログでLLamaゼロスクラッチしようとしたら途中で勾配消えててゴミモデルができた
オイオイオイランキングはまだ大分先だぞ

弊社3/3の純情な感情

データをよそに預けてたのが悪いよ

ファーストサーバの顧客サーバ全消しも凄かったね
あれもスクリプトのミスだっけ

>億単位のお金払わなきゃいけないミスだと現場が謝ること逆に無くなるんだよね…怖いね…
現場で取れる責任の域超えてて上も上の役員たちが土下座して賠償とか会社全体のお話になるからね…

誰かが実行中のシェルスクリプトを編集した
誰かが開いてる最中のファイルを移動した
あたりで意図しない結果になるのあるあるだと思う
被害程度は知らない

ちょっとまけてもらって99%とかにしとかない？

この手のはどうせ実行し直せばいいだけだし

そうさ100%弊社
もう謝るしかないさ

>データをよそに預けてたのが悪いよ
他所に預けてない自前のファイルサーバよ

>ちょっとまけてもらって99%とかにしとかない？
100%勇気の提案すぎる…

>この手のはどうせ実行し直せばいいだけだし
君のエクセルとは違うレベルだよ…

1%責任でいくらだよ
1億払いたくねえよ

今それぞれの会社で「基盤LLMを自社内で組んだら安心だろ」って言ってCommonCrawlとWikipediaDumpでtransformerゼロ学習してる地獄がいっぱいあるんだろうな…

全面的にだと歯切れ悪いしな

今まで払った金返せよ

HPらしいな
一応は謝ってくるところが

クラウドに払った金で失敗したのがマジで不毛
アジュールに投げたやつ自分でハードウェア買ってたら性能1/10だけど手元にH100が50代残ってた

>1%責任でいくらだよ
>1億払いたくねえよ
1TBのSSDが1万円の時代だぜ？

週初めになんてもん見せやがるんだ
もう今週嫌になったわ

オンプレのほうが安いんじゃねぇの疑惑が

無知で悪いけどbashってそんな動きするんだね…いや知れて良かったわ…

もう1時だぞ
普通に平日朝からの仕事の奴はこのスレ関係なく寝ないと心臓に悪いぞ

実行中のファイル上書くなんてことまずやらん

割と数千万単位の損害だとやっべェ〜…ごめんね…で済むんだよね
金額換算不可能な損害から本当にヤバくなる

よく分からんのがだがスクリプトの差し替えなんてそんなに起こる？
それこそ実行中になんてさ

>オンプレのほうが安いんじゃねぇの疑惑が
でも営業の人がクラウドにするべきって言って
AWSとMSの一騎打ちが始まるんですよ
その間に基幹アルゴリズム部隊が4060tiでプロトタイピングで成果を出すんですよ

そこらのパソコンやサーバーと違ってアホほどパラで動いてるマルチユーザーだぞ

あっここスクリプトミスってた
実行直後だし差し替えても大丈夫だろ…多分…
ってやりそうなやつは弊社にもいる

勝手にリファクタリングしてるのもかなりの邪悪

マジでT5とOpenCalmで実証できたやつをAWSにもっていってコケて責任取らされるの何なの！？

動かしてないつもりでも編集中にcronやジョブコンがキックして大爆発することもあります

手順を事前に組んでその通りに動かして事故ったならまあまあ上の人の責任ってことでいいか…

AWS自体の全面障害とかも何年か前にあったよね

デキる奴は菓子折りに切腹最中とかを持って行って場を和ます

>AWSとMSの一騎打ちが始まるんですよ
>その間に基幹アルゴリズム部隊が4060tiでプロトタイピングで成果を出すんですよ
こういう技術の蓄積も換算したら絶対自前のほうがお得だよな…

>動かしてないつもりでも編集中にcronやジョブコンがキックして大爆発することもあります
ジョブ管理チームに停止申請出したので大丈夫
…おいなんでジョブがキックされてる…？

>デキる奴は菓子折りに切腹最中とかを持って行って場を和ます
このレベルでそんなジョークカマしたら本当に切腹しろって詰められそうです

>手順を事前に組んでその通りに動かして事故ったならまあまあ上の人の責任ってことでいいか…
それはそう

飛んだデータは本人が忘れ去ることでしか癒えることはない
どれだけ謝られようともだ

>よく分からんのがだがスクリプトの差し替えなんてそんなに起こる？
>それこそ実行中になんてさ
そもそも差し替えスクリプト自体が定期実行で1日1回数分だけ動作させる類の奴で
テストでは問題見つからず本番の差し替え作業中にたまたま動いた

消えたってことは必要じゃなかったって事だよっ！

>デキる奴は菓子折りに切腹最中とかを持って行って場を和ます
それで笑ってくれるの本当に小さなミスだけだと思う

ここでシェルスクリプトマニアは自己書き換えをする

>>デキる奴は菓子折りに切腹最中とかを持って行って場を和ます
>それで笑ってくれるの本当に小さなミスだけだと思う
今回の謝罪でそれやったら受け取った側がヤケクソで腹切りだしてもおかしくない

バックアップのバックアップが必要だ！

>ここでシェルスクリプトマニアは自己書き換えをする
デバッグ地獄になる奴！

Windowsサーバーで間違って知らないexeダブルクリックしたことあるよ

>バックアップのバックアップが必要だ！
やっぱりテープメディアで物理的に保存だよね

やはり秘伝のシェルスクリプトは弄らないに限る

「」の人たちが同意できるか分からないんだけど
サイエンス事業部が手持ちの機材で完成させててうまくいくようになったやつが
サービス事業部にステージアップしたらアジュールとAWSとGでダメでゼロになるのどういう理屈なのか分からない

胃が痛くなって来た

WriteAtOnceって重要なんだね気づかされる良事件
良くねぇよ

こうならないようにシェルスクリプトのアトミックな更新は必須なんだがmvとcpどっちがアトミックだっけ？って時々なる

さっきから鼓動がずっと早い
やらかしたことなんてないはずなのに何でだ

>AWSとGでダメでゼロになるのどういう理屈なのか分からない
動作環境の見通しが甘かった案件はよくあるやつ
事最新技術になるほど熟成してないから組み合わせと環境で動かないことよくある

1%でも相手にも落ち度がありましたよねとか言い出したら
相手がブチギレて訴訟になってそれ以上の額を請求されてしかも勝ち目がないみたいな状況だとこうなると思う
つまりそれが100%弊社の責任

数年後消失したはずのデータを用いた技術革命が他国で起こるんだよね…

>さっきから鼓動がずっと早い
>やらかしたことなんてないはずなのに何でだ
本番反映して3日後くらいにこんな気分になるよね

本番稼働開始した翌日の夜間バッチ中は
恋する乙女のような体調になる

バックアップ大切といいいつつでも金かけられないから適当な弊社
いや確かにね毎日起こるようなもんでもないし常にインシデント対策なんてしたくないよねって気持ちはわかるけど

>サービス事業部にステージアップしたらアジュールとAWSとGでダメでゼロになるのどういう理屈なのか分からない
設定ミスで疎通が上手くいかないみたいなケース以外だとコンテナOSの仕様で細かい挙動変わったりとかリクエスト上限ひっかかたりとか
あとは複数IaaS跨ぐとレスポンスタイムがローカル構築より遅くなって実行順依存でたまたま上手く動いてたのがコケるようになるとか

パッチ流したら完了するまで何もするなって言われたでしょ！！お母さんもう知らない！

>今後の対策って言ってるけどこのあとも仕事任せてもらえるの…？
システムも筐体もこいつらが面倒見てたんだろうから任せるしかねぇんだ

77TB…77TB？

大事な処理をシェルスクリプトに任せる時点でもう怖いのは俺が無知だからだろうか

不快del

>不快del
確かに消えはしたが…

いうてH100の国内在庫払底してない？

その消失したデータを作るための準備に学者先生たちは何十時間何百時間何千時間費やしたんだろうね

14日から16日の間だけで77TBも使ってんだな
やっぱこういうのは個人とは使用量が桁違いだな

GoogleとかAmazonって世界でも指折りのデータ量抱えてそうだけど冗長性とかどうなってるんだろうな何重系統+複数のオフラインバックアップみたいにめちゃくちゃ抱えてるのかな

考えただけでも身の毛よだつ
流出じゃないだけまだマシか…？

置き換えたスクリプトの初回稼働確認とかしなかったのかな…

前に海外の大学であった掃除のおばちゃんが無知故にコンセント抜いたやつでもあんだけの騒ぎになったわけだしそりゃあ曲がりなりにもそれ専門でやらせていただいてます！って連中がやらかしたら弊社100%にもなる

そうさ100%弊社
もう謝るしかないさ

>置き換えたスクリプトの初回稼働確認とかしなかったのかな…
置き換えたスクリプト単体の動作自体に問題はなかった
元スクリプトが動作中に置き換えるとそのまま置き換え後のスクリプトを読みこみ直して継続動作するという恐ろしい仕様を見落としてた

何がいつ動くか把握してなかったのか…こわい

rsyncコマンドのsourceとtarget間違えただけなのに…

>何がいつ動くか把握してなかったのか…こわい
自分の書いたコードの挙動を完璧に把握してる人間なんて存在しないよ
仮に存在したらデバッグ不要のスーパーマンだよ

ここまでやると逆に強気になれる気がする

こういうのいつか自分がやらかしそうで苦しい

予め想定していない動作本番でやるとこうなる可能性孕んでるって肝に銘じなきゃ…

ミスは必ず起こるのでワンミスしても大丈夫な環境作りが必要とされる

自動実行はログ見て動かない時間の把握ぐらいはできそうなものなのになぁ…

クラウドで学習させようとすると費用がどれくらいかかるかわからんのがちょっと
最近はできるようになったりした？

お掃除スクリプトなんて書いたのは下っ端だろうけど謝るのは本部長
健全な組織だな！

>自動実行はログ見て動かない時間の把握ぐらいはできそうなものなのになぁ…
まず自動実行中に置き換えると不具合起きるという仕様把握してなかったから…
しかもタイミング次第だと正常動作しちゃうからテストもすり抜けやすい

僕たちがやったあやまち
永遠に忘れないでね

ここから再発防止策が練られると思うと胃が痛いですね
何万分の一ってレアケースのために毎回指差し確認する羽目になって
やがて単なる儀式に変わっていって再発に至るんですよ
弊社のあるあるです

>ここから再発防止策が練られると思うと胃が痛いですね
>何万分の一ってレアケースのために毎回指差し確認する羽目になって
>やがて単なる儀式に変わっていって再発に至るんですよ
>弊社のあるあるです
対外的なポーズとチェック機構は人間である以上必ず必要だから…

削除期間見て大した事ないじゃんって思った瞬間に77TBが目に飛び込んできて笑うしかない

差し替え中に実行されるのはあってはならないから
運用目線からの調査が正直足りない気がする

この挙動Windowsのバッチファイルもそうだよね
正直直感に反する仕様だと思うけどメモリが大切だった時代の名残なのかな

次回動くのいつなのか把握してれば気がついたんじゃとは思う

よりにもよって京大かよ

京大の研究データ吹っ飛ばしたんだっけ
どんだけの価値なんだろう

金も無尽蔵じゃないのはわかるんだけどバックアップは2箇所以上必要だよな

でもこんなでかいのバックアップできないよぉ

あやまっても消えたものは戻らないしこの過失に対しての補填は具体的に幾ら出したんだろ

消去期間って消去が実行された期間だよな
数日後に発覚したのか…

もうこれ意図的な破壊工作では？

やられた側はこの後どうしたんだろう

データは消えた！弊社は謝った！それでこの話はおしまい！

日本の学術研究が数年遅れるレベルだったりする？

>データは消えた！弊社は謝った！それでこの話はおしまい！
弊社100%の責任とまで書かせたわけだから賠償請求はあるだろうな

例えば有期契約で研究してて成果出すのに時限がある人だったりした場合どうなるんですか

弊社100%
謝罪よ素直な瞳で

もはや損害額の試算すら困難なレベル…