謎のネットワークトラブルに大苦戦(後編)

ども。
ついに広島県の同業者の方からも「ブログ見たんですが」とお問合せを頂いた担当ちゅんです。うれしいです!

さて、本日は前回の記事の続きです。

某学校の複合機が正常に動作しなくなり、すぐに直るだろうという簡単な気持ちで出かけたものの、経験したことのないような症状に深追いせずギブアップ。専門業者さんに助けを求めることになったというのが前回のあらすじ。

複合機の保守業者さん、ネットワークの保守業者さん、私、そして勉強のため臨席おーるど氏。4人が集まって、まずは状況の再確認、ほどなく全員が天を仰ぎました。今回の症状、それくらい不思議で難解なものなのです。

こうなると、一つ一つ原因を探るしかありません。複合機の保守業者さんの提案は「機械の故障も考えられるので、通信ユニットを交換させてほしい」というもの。また、ネットワークの保守業者さんは「原因箇所を特定するためHUBなど余計な機器を経由しないようLANケーブルを接続させてほしい」と。双方ともに全力で原因究明にあたります。
しかし、残念ながらこれでも原因はわかりませんでした。そして、ついに最終手段。ネットワークを流れていくパケットをキャプチャしてPingの通信を捕まえてみるという提案がでました。

複合機の保守業者さんがPCにWiresharkを仕込み、ネットワークの保守業者さんがL3スイッチのポートをミラーリングに変更します。まさに「ワンチーム」です。
調査を開始し、Pingが1本だけ通る現象、そしてその後のPingは通らなくなる現象を再現。その間のパケットをWiresharkでたどり、詳細を確認していくと、業者さんから「これかな・・・」の声。

そこには送られてきたPingに対して返事を返す際に「相手が見つからずに送れなかった」という趣旨のエラーが記録されていたとのこと。そして、その原因は「ICMPリダイレクト」とのこと。
ここでICMPリダイレクトの説明をしだすといくら文字数があっても足りないので、参考までにリンクをはっておきます。

@IT:Windows TIPS — Tips : ICMPリダイレクト使用時のファイアウォール設定に注意
https://www.atmarkit.co.jp/fwin2k/win2ktips/613icmpredir/icmpredir.html

上記記事をお読みいただくと、なぜ1本だけPingが通ったのかの理屈もわかります。「次からはこのルータに直接パケットを送ってね」という内容のルート情報が送られているにも関わらず、そのルータと複合機がなぜか通信できなかったということが原因らしいです。結局は、新たにルーティングを追加してリダイレクトを使わない方法で通信させることで無事にPingは通るようになり、表面上は問題解決となりました。

ではなぜ、その他の機器は問題なく通信できていたかという疑問が出てくるのですが、どうやらここに今回の複合機特有の何かがあったようです。複合機の保守業者さんいわく「弊社複合機の比較的新しいモデルではこの症状はでない」ともおっしゃっていて、旧モデル固有の何か原因があるのでしょうね。我々とすれば「直ればそれでヨシ」ですから、それ以上深くは聞きませんでした。もっとも、聞いてもたぶん理解できないでしょうし。

ここで前編の記事の冒頭の書き出し「解決はしたものの、今でも何となく釈然としない」につながります。「なぜ起きたのか?」と原因の追究をしたいと思っても、それが分かったところで単なる自己満足になってしまう可能性が高い。今回のようなレアな案件は2度と起きないかもしれないと思えばなおさらです。原因は闇の中ですが、あくまで結果がすべて。まずは無事に解決することができて本当によかった。全力で対応いただいた保守業者さんにも心から感謝しております。

WiresharkWiresharkでパケットをキャプチャ

(投稿者:ちゅん)

カテゴリー: つぶやき | 2件のコメント

謎のネットワークトラブルに大苦戦(前編)

ども。
朝晩の涼しさに夏の終わりを感じている担当ちゅんです。

先日から某学校のネットワークで大苦戦しておりました。結論からいえば解決はしたものの、今でも何となく釈然としないものがあります。かなりマニアックな内容になりますが、あらかじめご了承ください。また、長くなるので前後編での記事とします。

それは学校からの1本の電話から始まりました。「GIGAスクールのネットワークに切り替えた後からスキャナが利用できなくなっています」とのこと。その学校では複合機のスキャナ機能を利用して、データはセンター設備にあるストレージにネットワーク越しで保存しています。当初、この話が来た際には「きっと工事業者さんがLANケーブルをつなぎ忘れたのだろう」くらいの気持ちでおり、「これから学校におじゃまします。たぶんすぐ直りますので」と返答をして現場に行ったのでした。

ところが、現場の状況を確認すると「?」の連続。
まず、複合機のLANケーブルはちゃんとHUBに接続されており、ローカルネットワークではPINGが通りました。もちろん、テスト印刷も可能。しかし、センター設備側のストレージサーバからPINGを通してみるとNGとなりました。こうなるとセンター設備と学校との間のネットワーク設定に問題があるように思えるのですが、複合機以外の機器は問題なく通信ができており、一律、ダメな訳ではないというところに「?」です。
次に、別なプリンタに複合機と同じIPアドレスを付けてテストします。すると、今度は問題なく通信が可能となりました。この結果から、当初はネットワーク機器を疑ったものの、実は複合機側の問題ではないか、となり「?」。
そして、最も難解だったのは、ストレージサーバから複合機にPINGを通すと1本目のPINGだけ通ってしまうという謎の現象も出ました。全く通信できないのではなく、PING1本は通るという点に「?」。

ここまでの現象が分かった時点で、これは只事ではないと判断。結果、ネットワーク保守業者さんと複合機の保守ベンダーさんを巻き込んでの大騒動となってしまいました。解決編・・・と言えるのかわかりませんが、続きは次回。久々にどっと疲れる案件となりました。

職員室まさか職員室のこの机で3日間仕事をすることになるとは・・・

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする

季節の変わり目

ども。
まもなく夏が終わってしまいそうで寂しさを感じている担当ちゅんです。

そんな季節の変わり目ということでしょうか。このところ機器の故障への対応が増加しています。暑さで参ってしまうのは人間だけではないということです。

偶然かもしれませんが、長期休み明けの学校でトラブルが多いです。この間、1ヶ月ほどは誰も使っていなかったはずのコンピュータ室のPCが突然起動しなくなったとのことで、対応が必要となりました。対象のPC、確認するとまずいことに「先生用」でした。

今整備を進めているGIGAスクール構想でのPCは「クラウド・バイ・デフォルト」という思想のもと、インターネットにさえつながっていれば、教材は全てクラウド上にある(端末が壊れたら取り換えればよい)という設計がなされていますが、従来のPC室はそれとは真逆の考え方。PCを制御するための「授業支援ソフト」がインストールされ、さらに学年別に必要となるソフトが山ほどインストールされています。ドメインにも参加していますし、なんならIPアドレスも固定され、「環境復元ソフト」なるものまで導入されています。もし、これが壊れてしまうと、再設定にはかなりの時間がかかりますし、中でも先生用はサーバとしての役割も持たせているので難易度が高いです。

GIGAスクール用端末の運用まではあと数か月・・・ということは、既存のPC室端末の運用もあと数か月です。なんとか最小の労力でここを乗り切るため、起動しなくなった原因を探ります。今回のケースではどうやらディスクに障害が発生しているようでした。SSDなのに!
端末を職場に持ち帰り、ディスクのクローンを試みたり、スキャンディスクをかけたり。できることを試しているうちに、何が効いたかわかりませんが無事に起動するようになりました。ひとまず、現場にお返し。しつこいようですが、あと数か月持ってくれればいいPCですので、最後の力を振り絞ってもうひと頑張りしてもらいます。頑張れ!

壊れたPCもう少しの辛抱

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする

場面場面で求められる判断

ども。
このところの蒸し暑さで夜なかなか寝付けない担当ちゅんです。北海道なのに。

あっという間に学校の夏休みは終わってしまいました。GIGAスクールネットワーク整備は、この夏休み期間に集中して工事される予定となっており、昨日行った工事の定例打合せ会議にて進捗を確認しました。
すでに多くの学校にてLANケーブルの敷設が完了し、中には機器の設置も終わった学校がでてきました。無事に整備が進んでおり安心した一方で、新たな課題も出てきており、施工業者さんと相談しながら進めています。

昨日は「既存の機器の取扱い」について協議となりました。工事発注時の仕様書の中で、既存の機器については「撤去のうえ本町の指定する場所へ運搬すること」としておりましたが、具体的にどの機械をいつ撤去するのか、どこに運搬するのかといった細部が詰まっていませんでした。また、機器は撤去するとして、これまで使っていたLANケーブルはどうするのか、壁に情報コンセントがあった場合、それは撤去するのか蓋をするだけでいいのか・・・などなど、全て打ち合わせで決めていかなければなりません。

こうした協議の余地が残っている部分については、一方的にこちらから指示するのではなく、施工業者さんの意見も十分伺いながら、ベターな方法を見つけ出すことにしています。今日は現場から「既存のフロアHUBを撤去した後に残る壁付けの木板はどうしますか?」と相談され、こちらからは「撤去してください」と伝えましたが、「実は、アンカーが打たれてボルト固定なので、これを撤去すると格好が悪いような気がします」とのこと。

写真(文末画像)を送ってもらって確認しましたが、確かに立派な木板です。これを撤去したとしても残ったボルトの処理はどうするか。引き抜いてコーキングで埋めてもらう?でもそんな作業は仕様書にはありません。う~ん、悩みます。
結局は「結論は今でなくても大丈夫ですよ」とのことでしたので、保留にさせてもらいました。このように、日々、場面場面で判断が求められ、苦労しています。

木板確かに、撤去するだけではボルトが格好悪いことになります。

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする

ドキュメント整理は大切

ども。
暑さで溶けそうな担当ちゅんです。

そんな中、今日は何をしていたかといえば、この夏の外勤ラッシュで交換し続けた色々な機器の「ドキュメント」の整理。こんなに暑いのにデスクでPCとにらめっこし、ひたすら事務仕事です。

それでも、このドキュメントの整理ほど大切な仕事はありません。面倒がって「そのうちにやろう」と放っておくと、早晩「あれ?この機械につけたIPアドレスって何だっけ?」となります。仮に忘れてしまったとしても、IPアドレスくらいであればARPやPINGといった力業で見つけられるかもしれませんが、その状態よりも悪化してしまうと一番最悪な「スイッチにつけたパスワードが思い出せない」も発生します。
しかも、そうしたデータが必要となる場面というのはどういう場面でしょうか。これは言及する必要もありませんね。

だから、通信機器の設定というものは、事前にしっかりドキュメントを作っておいて、現場ではその通りに設定するというのが定石なんでしょう。もっといえば、Configをバックアップできる機種であれば、そのConfigも保存しておくが吉。ですが、トラブルが発生した場合など準備する余裕がない場面というのも多々ありますし、せっかく準備しても現場判断で設定を変える(これも本来はNGでしょうが)こともあります。そういう意味で、まだ記憶が新しいうちに反省会をしておかないといけないのです。

記憶を呼び起こしながら、そして機器にPINGを通しながらドキュメントを作っていきます。今回はまだ大丈夫、IPアドレスもパスワードもしっかり覚えていました。・・・が、とある施設ではこの数か月で頻繁にネットワーク変更を行っていたせいで、あろうことか「前回の」変更分がドキュメントに反映されていませんでした。「あれ?なんでこの機械にこのIPアドレスついてるの?」と、結局は過去の自分に問いかける事態に。しばらく悩み、ようやく思い出して、臨席おーるど氏にも「確かこんな事情だよね?」と答え合わせ。こういうことが起こるから、やはり面倒でもドキュメントの整理はすぐ行うべきであると思います。

図面得意のExcel方眼紙がさく裂しました

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする