障害メールが300件超

ども。
過去に例がない台風が西日本に接近するとのことで、心配している担当ちゅんです。

そのような中、本日は当町も雨。急に外が暗くなってきたと思ったら、稲光。ほどなくして大雨となり、町のホームページにも「今後の雨に十分な警戒をお願いします」という注意喚起が出される事態となりました。

そうこうしていると、庁舎で瞬停が発生。職場は一気に緊迫感が増します。すぐにサーバー室に走り、異常の有無を確認。近場の職員に声をかけてトラブルが起きていないかを確認。ICT-BCP初動版で確認している動きを行います。
その瞬停では幸いにも、私のPCを接続している近傍の島HUBが1台ハングしただけで済んだようですが、町内で複数個所が停電したとの情報もあり、何が起きても対応できるよう心の準備をして待機しました。結果、特に大きな被害は発生しませんでしたが、一瞬、心の中で嫌なスイッチが入りました・・・。

当町では、GIGAスクールネットワーク整備もあって急速にネットワーク機器が増えており、それらを管理するためオープンソースの監視ソフト「Hinemos」を導入して試験運用中です。機器の死活監視も開始したのですが、今回の一件で事前に設定したメールアドレスに対して、300件を超えるメールが一斉に飛んできました。もちろん、建物が停電したことにより機器の動作が止まったので、NGメールが来ることは正常の動作。ですが、これを個人の携帯電話あてに送信する設定はちょっとためらわれる状況となりました。キャリアのメールなら確実にスパム判定されちゃいます。

「障害が発生したのだからメールが来て当たり前」とか「気がつかないよりマシじゃないか」という考え方もあるかもしれませんが、私としては「オオカミ少年」になってしまうことが怖いです。頻繁に障害メールが届くうちに「ああ、またきたか」と慣れてしまって、本当に大事な内容のメールをスルーしてしまうのではないかと。こういう監視系のシステムでは、たぶんそういうバランスを取るのが難しいんだろうと思いますし、今日の出来事は、来てほしくはないがいつか必ず来る本番を前にした、貴重な訓練となりました。

Hinemosメール受信箱の様子

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする

(続)横のつながりで壁を乗り越える

先日は夏休みをいただいており月初めの更新となります。
担当おーるどです。

さて、先日のちゅん氏のブログにて投稿のあったとおり当町から数100㎞離れた自治体どおしでWebミーティングを行い私も参加させていただきました。
「G Suite for Education」に関して導入までの流れやユーザーの追加方法など当町が行ってきた作業を情報共有させていただきました。正直なところ当町としても「G Suite for Education」に関してまだまだ不明なことばかりでこのような場を設けていただき情報交換させていただけて大変ありがたいと感じております。

ひと通り当町で行ってきた作業内容を共有させていただき、Webミーティングも終盤となると具体的な運用方法の話題となり、その中でアカウント作成時のルールはどうしていますかという話になりました。以前のブログでも少し話をさせていただいたのですが、当町では先生と生徒でそれぞれルールを決め先生は「名前の頭文字プラス苗字」生徒は同姓同名の人がいなかったということで「フルネーム」といったルールでアカウントの作成を行いました。
現状はそれで問題ないのですが今後の課題として同姓同名の人が出てきた場合どうしようと悩んでおりました。
そこでアカウントはどのようなルールで作成するのですかと聞いてみると「フルネームプラス誕生日4桁で作成しようと考えている」との回答でした。
たしかに同姓同名はいるとしても誕生日まで同じとなると確率はかなり低くなると思います。これを聞いた瞬間本格運用開始前にミーティングをさせていただいて本当によかったと思いました。

あとから調べてみると詳しい算出方法はわかりませんが、同姓同名でかつ誕生日が同じとなる人の確率は18億分の1という情報も入手しました。
地域などによっては当てはまらないとは思いますが、おおよそ問題ないということで早速当町でも取り入れさせていただきました。
まだまだ課題や不明なことは多いのですが、大きな課題がひとつ解決しほっとしております。


「フルネームプラス誕生日4桁」は盲点でした。

(投稿者:おーるど)

カテゴリー: つぶやき | 2件のコメント

横のつながりで壁を乗り越える

ども。
月末の男がお休みなので本日も登場担当ちゅんです。

先日、当町からは数100km離れた自治体どおし(3者)でWebミーティングを行いました。議題はやはりGIGAスクール構想。G Suite for Educationのドメインの取得、申し込み方法、初期設定などなど、がっちり1時間半の情報交換となりました。
こちらとしては他の自治体と比べて先行しているといったような状況にはなく、試行錯誤しながらやってみているという状態であり、このように「同志」が増えることに関して、本当に心強く、そして嬉しく思っています。

今般のGIGAスクール、正直に話せばネットワーク構築や端末調達といった技術的な課題が非常に重く、そして時間もない中でギリギリの仕事をしてきたのは事実。ですが、実は最も大変な仕事はこれから始まる「運用」ではないかと考えているところです。これまでの大変さを軽々と超えるほどの高い壁が、この先に待ち構えているのではないかと思えてなりません。

当町では、GIGAスクール用の端末としてGoogle社のChromeOSを選定したところですが、このOS、特に教育用として素晴らしいものであり、機能そのものに関しては何の不安もないのですが、最大の課題は「誰も詳しくない」ということです。
ノウハウの蓄積が無いので、全てを手探りでやっていくしかありません。我々、情報担当もそうですが、納入業者さんにとってもこれだけ大規模な展開・運用は初めてという案件であり、普段は「困ったら業者さんに聞けば何とかなる」とタカをくくれるところも、今回ばかりは皆一様に「さあ困ったぞ・・・」といった状況です。

大枠では理解できていても、具体的に細部をどうすることが正解なのかわからず、それでも端末の導入まで刻々と日数が無くなっていく中で、気持ちばかりが焦ります。ですが、そういう思いを持っていたのは我々だけではなく、今回のWebミーティングでも「また定期的にやりましょう!」と共闘体制を構築でき、こうした横のつながりが前述の壁を乗り越えるきっかけになるのは間違いありません。
こんな悩みを持っている同業者さんって、きっと多いんだろうなと想像しています。唯一の弱点である「ノウハウの蓄積」を解決するため、メーカーさんには2泊3日くらいでガッチリと合宿でも企画してもらえないものだろうか・・・と思ったりします。コロナの情勢下では厳しいとは思いますが、オンラインでなら解決できる課題だと思います。

gsuite求む!これの使い方の説明!!

(投稿者:ちゅん)

カテゴリー: つぶやき | 2件のコメント

謎のネットワークトラブルに大苦戦(後編)

ども。
ついに広島県の同業者の方からも「ブログ見たんですが」とお問合せを頂いた担当ちゅんです。うれしいです!

さて、本日は前回の記事の続きです。

某学校の複合機が正常に動作しなくなり、すぐに直るだろうという簡単な気持ちで出かけたものの、経験したことのないような症状に深追いせずギブアップ。専門業者さんに助けを求めることになったというのが前回のあらすじ。

複合機の保守業者さん、ネットワークの保守業者さん、私、そして勉強のため臨席おーるど氏。4人が集まって、まずは状況の再確認、ほどなく全員が天を仰ぎました。今回の症状、それくらい不思議で難解なものなのです。

こうなると、一つ一つ原因を探るしかありません。複合機の保守業者さんの提案は「機械の故障も考えられるので、通信ユニットを交換させてほしい」というもの。また、ネットワークの保守業者さんは「原因箇所を特定するためHUBなど余計な機器を経由しないようLANケーブルを接続させてほしい」と。双方ともに全力で原因究明にあたります。
しかし、残念ながらこれでも原因はわかりませんでした。そして、ついに最終手段。ネットワークを流れていくパケットをキャプチャしてPingの通信を捕まえてみるという提案がでました。

複合機の保守業者さんがPCにWiresharkを仕込み、ネットワークの保守業者さんがL3スイッチのポートをミラーリングに変更します。まさに「ワンチーム」です。
調査を開始し、Pingが1本だけ通る現象、そしてその後のPingは通らなくなる現象を再現。その間のパケットをWiresharkでたどり、詳細を確認していくと、業者さんから「これかな・・・」の声。

そこには送られてきたPingに対して返事を返す際に「相手が見つからずに送れなかった」という趣旨のエラーが記録されていたとのこと。そして、その原因は「ICMPリダイレクト」とのこと。
ここでICMPリダイレクトの説明をしだすといくら文字数があっても足りないので、参考までにリンクをはっておきます。

@IT:Windows TIPS — Tips : ICMPリダイレクト使用時のファイアウォール設定に注意
https://www.atmarkit.co.jp/fwin2k/win2ktips/613icmpredir/icmpredir.html

上記記事をお読みいただくと、なぜ1本だけPingが通ったのかの理屈もわかります。「次からはこのルータに直接パケットを送ってね」という内容のルート情報が送られているにも関わらず、そのルータと複合機がなぜか通信できなかったということが原因らしいです。結局は、新たにルーティングを追加してリダイレクトを使わない方法で通信させることで無事にPingは通るようになり、表面上は問題解決となりました。

ではなぜ、その他の機器は問題なく通信できていたかという疑問が出てくるのですが、どうやらここに今回の複合機特有の何かがあったようです。複合機の保守業者さんいわく「弊社複合機の比較的新しいモデルではこの症状はでない」ともおっしゃっていて、旧モデル固有の何か原因があるのでしょうね。我々とすれば「直ればそれでヨシ」ですから、それ以上深くは聞きませんでした。もっとも、聞いてもたぶん理解できないでしょうし。

ここで前編の記事の冒頭の書き出し「解決はしたものの、今でも何となく釈然としない」につながります。「なぜ起きたのか?」と原因の追究をしたいと思っても、それが分かったところで単なる自己満足になってしまう可能性が高い。今回のようなレアな案件は2度と起きないかもしれないと思えばなおさらです。原因は闇の中ですが、あくまで結果がすべて。まずは無事に解決することができて本当によかった。全力で対応いただいた保守業者さんにも心から感謝しております。

WiresharkWiresharkでパケットをキャプチャ

(投稿者:ちゅん)

カテゴリー: つぶやき | 2件のコメント

謎のネットワークトラブルに大苦戦(前編)

ども。
朝晩の涼しさに夏の終わりを感じている担当ちゅんです。

先日から某学校のネットワークで大苦戦しておりました。結論からいえば解決はしたものの、今でも何となく釈然としないものがあります。かなりマニアックな内容になりますが、あらかじめご了承ください。また、長くなるので前後編での記事とします。

それは学校からの1本の電話から始まりました。「GIGAスクールのネットワークに切り替えた後からスキャナが利用できなくなっています」とのこと。その学校では複合機のスキャナ機能を利用して、データはセンター設備にあるストレージにネットワーク越しで保存しています。当初、この話が来た際には「きっと工事業者さんがLANケーブルをつなぎ忘れたのだろう」くらいの気持ちでおり、「これから学校におじゃまします。たぶんすぐ直りますので」と返答をして現場に行ったのでした。

ところが、現場の状況を確認すると「?」の連続。
まず、複合機のLANケーブルはちゃんとHUBに接続されており、ローカルネットワークではPINGが通りました。もちろん、テスト印刷も可能。しかし、センター設備側のストレージサーバからPINGを通してみるとNGとなりました。こうなるとセンター設備と学校との間のネットワーク設定に問題があるように思えるのですが、複合機以外の機器は問題なく通信ができており、一律、ダメな訳ではないというところに「?」です。
次に、別なプリンタに複合機と同じIPアドレスを付けてテストします。すると、今度は問題なく通信が可能となりました。この結果から、当初はネットワーク機器を疑ったものの、実は複合機側の問題ではないか、となり「?」。
そして、最も難解だったのは、ストレージサーバから複合機にPINGを通すと1本目のPINGだけ通ってしまうという謎の現象も出ました。全く通信できないのではなく、PING1本は通るという点に「?」。

ここまでの現象が分かった時点で、これは只事ではないと判断。結果、ネットワーク保守業者さんと複合機の保守ベンダーさんを巻き込んでの大騒動となってしまいました。解決編・・・と言えるのかわかりませんが、続きは次回。久々にどっと疲れる案件となりました。

職員室まさか職員室のこの机で3日間仕事をすることになるとは・・・

(投稿者:ちゅん)

カテゴリー: つぶやき | コメントする