1997/01/21 運営委員会 資料 2-8 障害報告 (1996年11月23日~1997年1月20日) 障害発生日 ----------------------------------------------------------------------------- 96/12/02 17:05 ns1 で mail の無限ループ発生 現象: From: emergency@nic.ad.jp のメイルに Cc: emergency@nic.ad.jp を付けたために無限ループ発生 対策: ns1 の sendmail を kill, emergency@nic.ad.jp の自動応答スクリプトを修正 96/12/04 19:16 home2 の / が disk full 現象: ドメイン申請処理プログラムが、巨大なメイルを生成し、 /tmp を 溢れさせた 対策: ドメイン申請処理プログラムの修正を行なった。 /etc/rc.local の mount /tmp を有効にして reboot した。 96/12/12 16:20 home1 のプロセステーブルが溢れる 現象: データベースの更新申請が大量に来た。その申請をDB-INのプログラムが 自動的に処理するので、プロセスが大量になってしまう。 対策: /var/spool/mqueue を一時的に退避させ reboot し、順次処理した。 96/12/13 3:00 home1 outof memoryの表示 現象: ドメイン申請処理プログラムから大量のメール(個人情報の登録)を、 データベースシステムに送った。プロセスが大量になってしまった。 対策1: /var/spool/mqueue を一時的に退避させ reboot し、順次処理した。 対策2: データベースのプログラムに lock のルーチンを組み込んだ。 96/12/19 14:00 home1 のプロセステーブルが溢れる 96/12/19 15:00 home1 のプロセステーブルが溢れる 現象: ドメイン申請処理プログラムから大量のメール(個人情報の登録)を、 データベースシステムに送った。プロセスが大量になってしまった。 対策: /var/spool/mqueue を一時的に退避させ reboot し、順次処理した。 同時に大量の処理を行なわないようにする。 問題点: データベースのプログラムにはもともと lock の仕組みがあった。 プロセスが増加してしまうのは、 sendmail から直接データベース のプログラムを呼び出している点に問題があるように思われる。 メイルを一旦 queue にため、順次処理を行なってゆくような方式 に変更したいと考えている。 -----------------------------------------------------------------------------