2 min read

ESXiのパッチ当てで死んだ話

2022/02/14 10:00
サーバー

パッチ当てたら死んだ

事の経緯

何気なく最近ESXiにパッチ当ててないなと思って当てたら、Broken pipe だのなんだの言われた。
検索すると容量不足？ということがわかったがdf -hしても一向にコンソールが返ってこない。
VMwareのサイトに /locker/packages/{version}/ フォルダを削除しろと書いてあるが cd /locker さえできない状態だった。

もうどうすることもできないのでクリーンインストールをすることにした。
現状と同じESXi 6.7のCDで修復ができないかと挑戦したが、ESXiを入れてるフラッシュメモリのファイルシステムが壊れているようでできなかった。

TLDR

  1. ESXi 6.0をCDから入れる
  2. rm -r /locker/packages/6.0.0/ on ssh
  3. ESXi 6.5u2のオフラインバンドルパッチを当てる
  4. 再起動（パッチ反映）
  5. rm -r /locker/packages/6.5.0/ on ssh
  6. ESXi 6.7u3のパッチを当てる
  7. 再起動

これでいけた

格闘Twitterログ

  • 03:58:54 そういえば長らくESXiにパッチ当ててなかった気がするしやるか
  • 03:59:30 こういうのは思い立った時にやらないとな
  • 04:33:01 ESXiホストのストレージいっぱいぽくてアップグレードできねえ・・・
  • 04:33:10 df -hもなかなか返ってこない（）
  • 05:06:48 やべえESXiぶっ壊れたかも
  • 05:07:21 ERR_ADDRESS_UNREACHABLEになった…
  • 05:08:10 ストレージいっぱいだからかアプグレできなくて仕方ないからリブートかけたら立ち上がってこない
  • 05:18:08 ESXiのsshいじってた感じどうもファイルシステムが壊れたっぽいんだよなぁ
  • 05:30:01 格闘 https://t.co/0qkdfy4O1U
  • 05:30:36 とりあえずESXi 6.7 to 6.7で修復できないか挑戦してる
  • 05:39:08 修復できねえわクリーンインストールしよ
  • 05:39:47 VMの構成情報はvmfs内にあるしそんな手間かからず復旧できると思う（思う
  • 06:01:54 ESXi 6.7 Installerがキーボード入力受け付けなくなったから6.0インストールしてる https://t.co/CwflL6ASe6
  • 06:02:18 6.0から6.5経由して6.7にアプグレするだな
  • 06:26:23 ESXi 6.0インストールOK
  • 06:26:39 6.5u2アプグレ開始
  • 06:37:06 クリーンインストール前は ls /locker で返ってこなかったけどクリーンインストール後はちゃんとすぐ返ってきたわ
  • 06:37:16 やっぱファイルシステムぶっ壊れてたみたいだな
  • 06:48:39 あ～わかったわこれ
  • 06:48:52 ESXi入れてるフラッシュメモリの容量不足ぽい
  • 06:49:10 アプグレに必要な領域確保で死んでるぽくてまた死んだわ
  • 06:57:04 メモとして8GBのフラッシュメモリで確保された/lockerは280MB程度
  • 07:12:49 あぁこれフラッシュメモリの容量関係ないわ
  • 07:18:19 32GBのフラッシュメモリにしてみたけど/lockerパーティションのサイズは変わらなかった
  • 07:18:55 8GBでもいいことが証明されたけどヘタってるかもしれんしこのまま新しいフラメモ使っていこ
  • 07:33:32 できた、rm -r /locker/packages/6.{0,5}.0 して前のパッケージたちを削除すれば容量不足に陥らずアプグレできる
  • 07:35:32 う～んやっぱり8GBのフラメモに戻したいな…
  • 07:35:42 32GBは過剰すぎるし他で使う可能性がある
  • 07:40:05 ESXiのパーティションこんな感じで作成されるみたい https://t.co/gNTECIGM1r
  • 07:40:18 なるほど固定値なのね
  • 07:48:24 ちょっとヘタってるかもしれないけど8GBのフラメモにESXi6.0クリーンインストールしてるなう
  • 08:21:46 アアアアア
  • 08:22:14 8GBのフラメモでESXi 6.7へのアプグレしてたらエラー吐きやがった・・・
  • 08:22:35 だ～めだなこれやっぱ32GBのフラメモでやるべきか
  • 08:22:59 あとまあ古さもあって転送速度的にもアレなのかも
  • 08:58:27 やっと・・・やっとESXi6.7u3の最新パッチVerになってくれた・・・
  • 08:58:38 長い戦いだったぜ・・・
  • 08:58:53 でもこれから構成情報の復旧させないといけないんだよな
  • 09:56:20 やっと構成情報の復旧とすべての鯖起動終わったわ・・・
  • 09:56:23 疲れた・・・

おわり

約6時間にも及ぶ格闘だった。
無事勝つことができてよかった・・・

途中8GBから32GBのフラメモにしてやり方がわかって、それからまた8GBに戻してやり直そうとしたのは完全に無駄だった。
結局エラー吐かれたしたぶんヘタってたのもあると思うので素直に32GBのままいくべきだった。

疲れたよほんと・・・