[pgpool-general-jp: 1485] Re: Postgres10環境でregression test 008に失敗します

Kariatsumari, Kazuki ka.kariatsumari ＠ jp.fujitsu.com
2018年 1月 17日 (水) 10:09:50 JST 

狩集です。

頂いたパッチを適用して再実施したところ、
regression test 008に成功しました。ありがとうございます。

以下2点お伺いしたいことがあります。

・1点目
　Standby側でWALを適用する前にPrimary側のWALが削除されていた原因は、
　テスト実施環境の性能不足による現象という認識で合っていますでしょうか。

・2点目
　2つ目に頂いたパッチファイルについてですが、restore_commandで指定しているcpコマンドの
　コピー対象のパスを変更したことには、何か理由があるのでしょうか。

以上です。宜しくお願いします。

> -----Original Message-----
> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> Sent: Tuesday, January 16, 2018 3:08 PM
> To: pgpool-general-jp ＠ sraoss.jp
> Cc: Kariatsumari, Kazuki/狩集 一樹
> Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境でregression
> test 008に失敗します
> 
> 彭です。
> 
> restore_command のアーカイブのパスを修正しました。
> お手数ですが、添付のパッチを再度お試していただけますか。
> 
> 以上、よろしくお願いいたします。
> 
> On Mon, 15 Jan 2018 08:19:54 +0000
> "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> 
> > 狩集です。
> >
> > 回答ありがとうございます。
> > 確認を行いました。
> >
> > ・008.dbredirect/testdir/data0
> > 　recovery.confはありませんでしたが、テスト中にリカバリを実施した
> ためか、recovery.doneというファイルに変名されていました。
> >   ファイルをrestore_commandでgrepした結果が以下です。
> >
> > ---
> > restore_command = 'cp
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > ---
> >
> > ・008.dbredirect/testdir/data1
> > 　recovery.confがありました。ファイルをrestore_commandでgrepした
> 結果が以下です。
> >
> > ---
> > restore_command = 'cp
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > ---
> >
> > ・008.dbredirect/testdir/data2
> > 　recovery.confがありました。ファイルをrestore_commandでgrepした
> 結果が以下です。
> >
> > ---
> > restore_command = 'cp
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > ---
> >
> > どのファイルにもrestore_command…と記載されていることが確認できま
> した。
> >
> > 以上です。宜しくお願いします。
> >
> > > -----Original Message-----
> > > From: Tatsuo Ishii [mailto:ishii ＠ sraoss.co.jp]
> > > Sent: Monday, January 15, 2018 4:48 PM
> > > To: pgpool-general-jp ＠ sraoss.jp; Kariatsumari, Kazuki/狩集 一樹
> > > Subject: Re: [pgpool-general-jp: 1478] Re: Postgres10環境で
> regression
> > > test 008に失敗します
> > >
> > > 石井です。
> > >
> > > 彭さんのパッチ適用後、
> > >
> > > ・008.dbredirect/testdir/data0
> > > ・008.dbredirect/testdir/data1
> > >
> > > に、recovery.confがあり、そこに
> > >
> > > restore_command = ... の行はありますか？
> > > --
> > > Tatsuo Ishii
> > > SRA OSS, Inc. Japan
> > > English: http://www.sraoss.co.jp/index_en.php
> > > Japanese:http://www.sraoss.co.jp
> > >
> > > > 狩集です。
> > > >
> > > > 回答ありがとうございます。
> > > >
> > > > 添付して頂いたパッチを適用して試してみましたが、結果に変化はあ
> りま
> > > せんでした。
> > > > 私がpgpool_setupに施した以下の変更を戻して再実施してみましたが、
> > > > 008.dbredirect/testdir/data0/log/フォルダ内のログファイルに、
> > > > 第一報で申し上げたエラーが記載されており、こちらも結果に変化が
> あり
> > > ませんでした。
> > > >
> > > > ・施した変更
> > > > ---
> > > > echo "wal_keep_segments = 5" >> $PGCONF
> > > > ---
> > > >
> > > > ・008.dbredirect/testdir/data0/log/フォルダ内のログファイルのエ
> ラー
> > > > ---
> > > > ERROR:  requested WAL segment 000000010000000000000002 has already
> > > > been removed
> > > > ---
> > > >
> > > > 以上です。宜しくお願いします。
> > > >
> > > >> -----Original Message-----
> > > >> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > >> Sent: Friday, January 12, 2018 1:07 PM
> > > >> To: Kariatsumari, Kazuki/狩集 一樹
> > > >> Cc: pgpool-general-jp ＠ sraoss.jp
> > > >> Subject: Re: [pgpool-general-jp: 1474] Postgres10環境で
> regression
> > > test
> > > >> 008に失敗します
> > > >>
> > > >> 彭です。
> > > >>
> > > >> 環境にもよりますが、ストリーミングレプリケーションの standby が
> > > >> WAL 適用する前に、primary の WAL が消されてしまったのが原因だ
> と
> > > >> 思います。
> > > >>
> > > >> このような事象を防ぐために、アーカイブからリストアできるように
> > > >> recovery.conf に restore_command='cp ... 'を追加した方がいいで
> す。
> > > >>
> > > >> 添付の pgpool_setup のパッチをためしていただけますか。
> > > >>
> > > >> 以上、よろしくお願いいたします。
> > > >>
> > > >> On Thu, 11 Jan 2018 00:26:39 +0000 "Kariatsumari, Kazuki"
> > > >> <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > >>
> > > >> > 狩集です。
> > > >> >
> > > >> > 回答ありがとうございます。
> > > >> > 自身にパスワード無しでssh接続できるようにした後、
> > > >> > 再度regression test 008を実施しましたが、
> > > >> > 状況に変化はありませんでした。
> > > >> >
> > > >> > また、008.dbredirect/testdir/pgpool_setup.logにエラーはあり
> ませ
> > > ん
> > > >> でした。
> > > >> >
> > > >> > 以上です。宜しくお願いします。
> > > >> >
> > > >> > > -----Original Message-----
> > > >> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > >> > > Sent: Wednesday, January 10, 2018 3:35 PM
> > > >> > > To: pgpool-general-jp ＠ sraoss.jp
> > > >> > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > >> > > Subject: Re: [pgpool-general-jp: 1474] Postgres10環境で
> > > regression
> > > >> test
> > > >> > > 008に失敗します
> > > >> > >
> > > >> > > 彭です。
> > > >> > >
> > > >> > > PostgreSQL ストリーミングレプリケーションの構築で失敗した
> ので
> > > はな
> > > >> い
> > > >> > > かと思います。
> > > >> > >
> > > >> > > 008.dbredirect のテストスクリプトの中で $PGPOOL_SETUP -m s
> -n 3
> > > を
> > > >> 実
> > > >> > > 行し、
> > > >> > > 3ノードのストリーミングレプリケーションを構成しています。
> > > >> > >
> > > >> > > 008.dbredirect/testdir/pgpool_setup.log に何らかのエラーが
> 出力
> > > さ
> > > >> れた
> > > >> > > でしょうか。
> > > >> > >
> > > >> > > よくある原因としては、パスワードなしの ssh 設定していなか
> った
> > > こと
> > > >> です。
> > > >> > > 自分自身に ssh でパスワード無しでログインできるようになっ
> てい
> > > る
> > > >> 必要
> > > >> > > があります。
> > > >> > >
> > > >> > > 以上、よろしくお願いします。
> > > >> > >
> > > >> > > On Wed, 10 Jan 2018 02:39:52 +0000 "Kariatsumari, Kazuki"
> > > >> > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > >> > >
> > > >> > > > 狩集と申します。
> > > >> > > >
> > > >> > > > RHEL7.3、Postgres10、pgpool-II-3.7.1環境を構築し、
> > > >> > > > regression testを実行したところ、testing 008.dbredirect
> で失
> > > 敗
> > > >> しま
> > > >> > > した。
> > > >> > > >
> > > >> > > > 008.dbredirect/testdir/data0/log/内のログを確認したとこ
> ろ、
> > > 以下
> > > >> の記
> > > >> > > 述がありました。
> > > >> > > >
> > > >> > > > 12031 2018-01-09 16:30:22 JST ERROR:  requested WAL segment
> > > >> > > 000000010000000000000002 has already been removed
> > > >> > > >
> > > >> > > > 上記のエラーからWALが存在しないことが失敗の原因と考え、
> > > >> > > > regression test実行時にWALの値を設定するように、
> > > >> > > pgpool-II-3.7.1/src/test/pgpool_setupに
> > > >> > > > 以下の変更を加えました。(★行を追加しました)
> > > >> > > >
> > > >> > > > -----
> > > >> > > > 285                 echo "wal_level = hot_standby" >>
> $PGCONF
> > > >> > > > 286                 echo "wal_keep_segments = 5" >> $PGCONF
> > > ★
> > > >> > > > 287                 echo "max_wal_senders = $NUMCLUSTERS"
> >>
> > > >> $PGCONF
> > > >> > > > -----
> > > >> > > >
> > > >> > > > 変更後、再度008.dbredirectを実施したところ、
> > > >> > > > 008.dbredirect/testdir/log/pgpool.logに以下のメッセージ
> が出
> > > 力
> > > >> され
> > > >> > > るようになりました。
> > > >> > > >
> > > >> > > > 2018-01-09 20:50:50: pid 30748: DEBUG:  could not load
> > > >> > > > balance
> > > >> because
> > > >> > > of too much replication delay
> > > >> > > >
> > > >> > > > メッセージの文面を見る限り、レプリケーションで遅延が発生
> して
> > > い
> > > >> るよ
> > > >> > > うです。
> > > >> > > > 遅延発生の原因について、ご存知のことがございましたら教え
> て頂
> > > け
> > > >> ない
> > > >> > > でしょうか。
> > > >> > > >
> > > >> > > > 以上です。宜しくお願いします。
> > > >> > > >
> > > >> > > > _______________________________________________
> > > >> > > > pgpool-general-jp mailing list pgpool-general-jp ＠ sraoss.jp
> > > >> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > >> > > >
> > > >> > >
> > > >> > >
> > > >> > > --
> > > >> > > Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > >> > >
> > > >> >
> > > >> >
> > > >> >
> > > >>
> > > >>
> > > >> --
> > > >> Bo Peng <pengbo ＠ sraoss.co.jp>
> > > >> SRA OSS, Inc. Japan
> > > >
> > > > _______________________________________________
> > > > pgpool-general-jp mailing list
> > > > pgpool-general-jp ＠ sraoss.jp
> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> >
> >
> > _______________________________________________
> > pgpool-general-jp mailing list
> > pgpool-general-jp ＠ sraoss.jp
> > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> >
> 
> 
> --
> Bo Peng <pengbo ＠ sraoss.co.jp>
> SRA OSS, Inc. Japan

pgpool-general-jp メーリングリストの案内