[pgpool-general-jp: 737] Re: pgpool-IIでの障害について

[Yoshiharu Mori]

盛です。

> メーリングリスト各位
> 
> お世話になります。
> 酒井です。
> 
> 先日[pgpool-general-jp: 723]をポストさせていただきましたが、
> その後調査を進めたところ１の現象は若干異なっていてpostgresのMLが
> 適切かと思われますので、postgresのMLの方に再度ポストさせていただきます。
> お騒がせいたしました。

遅れてしまいましたが、
１の現象についてですが、pgpool-II2.2.2までは、ロックを獲得したまま
プロセスが残留する可能性がありました。
pgpool-II 2.2.3以降では修正されています。

-->
* バックエンドにSQLを投げ、その応答を待っている間にクライアントが
  pgpoolに対するコネクションを切断したことが検出できるようになりました。
  たとえば、WebアプリケーションではDBに対してリクエストを投げて、応答
  がないとキャンセルするようなことが頻繁に起ります。この場合、今までは
  pgpoolやPostgreSQLのプロセスが残ってしまい、同時接続数が枯渇したり、
  ロックを取ったままのトランザクションが残るなどしてシステム全体に影響
  を与えることがありました。今回の修正により、こうした状況が検出できる
  ようになっただけでなく、SQLの応答待ちの間にクライアントがコネクショ
  ンを切断した際には、SQLコマンドのキャンセルをpgpoolが行なって、ロッ
  ク待ちなどのバックエンドプロセスが残るのを防ぐことができるようになり
  ました(Tatsuo)。
-->

> ２の現象について何かご存知の方がいらっしゃれば引き続き
> ご教授いただければと思います。

pgpool-IIのプロセスは終了し、ロックを保持したままの残留プロセス
が終了したため、一斉に更新がかかりサーバの高負荷状態に陥った。。
というシナリオが考えられるかもしれません。


> 
> 以上よろしくお願いします。
> 
> 
> >
> > メーリングリスト各位
> >
> > はじめまして。
> > 酒井と申します。
> >
> > pgpoolを運用しておりまして、下記のような障害に
> > 遭遇し助言をいただきたくポストさせていただきました。
> >
> > １．pgpoolから2台のpostgresにレプリケーションモードで運用しているのです
> > が、
> > （ロードバランスは使用しておりません）
> > あるSQL(select for update)が実行中のまま応答が返ってこなくなり
> > その後新規のリクエストがpgpoolで実行中（idle in trunsaction)のまま滞留した
> > 状
> > 況に
> > 陥りました。
> > 同一SQLを実行しても普段はすぐに返されるSQLで、postgreのSQLログにも
> > deadlockが
> > 発生してる
> > ような記録は残っておらず、何が起因でこのような現象となったのか不明な状況で
> > す。
> >
> > postgresのMLにポストすべき内容かもしれませんが、もし同様の現象のご経験が
> > ある方がいらっしゃれば何を確認すればいいのか、もしくはどのように
> > 回避すべきかご教授いただけないでしょうか？
> >
> > ２．上記現象となった際にpgpoolを「-m fast stop」で停止したところ、
> > すぐにOS自体からの応答がなくなりsshで接続することもできない状況となって
> > しま
> > いました。
> > （結局電源ON/OFFを実施いたしました）
> > なんら考えられる原因などございましたらご教授いただければと思います。
> > 上記停止タイミングで下記のログが大量に出力されていました。
> > ERROR: pid 30917: pool_read_kind: kind does not match between master(69)
> > slot[1] (83)
> > ERROR: pid 30917: pool_do_auth: failed to read kind before BackendKeyData
> >
> > [環境]
> > ・OS：CentOS5（64bit）
> > ・pgpool：2.1
> > ・postgres：8.3.7
> >
> > お忙しいところ申し訳ありませんが、何卒よろしくお願いいたします。
> >
> > ---------------------------------------
> > Agate Inc.
> > 酒井　英一郎
> > E-Mail：sakai ＠ agate-japan.com
> >
> >
> >
> >
> > ------------------------------
> >
> > _______________________________________________
> > pgpool-general-jp mailing list
> > pgpool-general-jp ＠ sraoss.jp
> > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> >
> >
> > 以上: pgpool-general-jp まとめ読み, 41 巻, 11 号
> > ************************************************
> 
> _______________________________________________
> pgpool-general-jp mailing list
> pgpool-general-jp ＠ sraoss.jp
> http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp


-- 
SRA OSS, Inc. 日本支社
Yoshiharu Mori <y-mori ＠ sraoss.co.jp>
http://www.sraoss.co.jp/