[pgpool-general-jp: 1487] Re: Postgres10環境でregression test 008に失敗します

Kariatsumari, Kazuki ka.kariatsumari ＠ jp.fujitsu.com
2018年 1月 17日 (水) 10:50:35 JST 

狩集です。

回答ありがとうございます。

> restore_command のパスと archive_command で指定したディレクトリと異
> なったので、
> それに合わせるために修正しました。
上記の修正が必要になったのは、1点目の修正でアーカイブからリストアするようになったためでしょうか。
それとも1点目の修正に関わらず、必要なものでしょうか。

以上です。宜しくお願いします。


> -----Original Message-----
> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> Sent: Wednesday, January 17, 2018 10:25 AM
> To: Kariatsumari, Kazuki/狩集 一樹
> Cc: pgpool-general-jp ＠ sraoss.jp
> Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境でregression
> test 008に失敗します
> 
> 彭です。
> 
> > ・1点目
> > 　Standby側でWALを適用する前にPrimary側のWALが削除されていた原
> 因は、
> > 　テスト実施環境の性能不足による現象という認識で合っていますでしょ
> うか。
> 
> はい、ご認識の通りです。
> マシンが遅ければ、standy で WALが適用される前に、primary の WAL が消
> えてしまいました。
> そのため、アーカイブからリストアする必要がありました。
> 
> > ・2点目
> > 　2つ目に頂いたパッチファイルについてですが、restore_commandで指定
> しているcpコマンドの
> > 　コピー対象のパスを変更したことには、何か理由があるのでしょうか。
> 
> restore_command のパスと archive_command で指定したディレクトリと異
> なったので、
> それに合わせるために修正しました。
> 
>    archive_command = 'cp %p $BASEDIR/archivedir/%f </dev/null'"
> 
> 
> -restore_command = 'cp $DATADIR_BASE/archivedir/pg_xlog/%f "%p" 2>
> /dev/null'
>                                                 ~~~~~~~ここが間違い
> ました
> 
> +restore_command = 'cp $DATADIR_BASE/archivedir/%f "%p" 2> /dev/null'
> 
> 以上、よろしくお願いします。
> 
> On Wed, 17 Jan 2018 01:09:50 +0000
> "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> 
> > 狩集です。
> >
> > 頂いたパッチを適用して再実施したところ、
> > regression test 008に成功しました。ありがとうございます。
> >
> > 以下2点お伺いしたいことがあります。
> >
> > ・1点目
> > 　Standby側でWALを適用する前にPrimary側のWALが削除されていた原
> 因は、
> > 　テスト実施環境の性能不足による現象という認識で合っていますでしょ
> うか。
> >
> > ・2点目
> > 　2つ目に頂いたパッチファイルについてですが、restore_commandで指定
> しているcpコマンドの
> > 　コピー対象のパスを変更したことには、何か理由があるのでしょうか。
> >
> > 以上です。宜しくお願いします。
> >
> > > -----Original Message-----
> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > Sent: Tuesday, January 16, 2018 3:08 PM
> > > To: pgpool-general-jp ＠ sraoss.jp
> > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境で
> regression
> > > test 008に失敗します
> > >
> > > 彭です。
> > >
> > > restore_command のアーカイブのパスを修正しました。
> > > お手数ですが、添付のパッチを再度お試していただけますか。
> > >
> > > 以上、よろしくお願いいたします。
> > >
> > > On Mon, 15 Jan 2018 08:19:54 +0000
> > > "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > >
> > > > 狩集です。
> > > >
> > > > 回答ありがとうございます。
> > > > 確認を行いました。
> > > >
> > > > ・008.dbredirect/testdir/data0
> > > > 　recovery.confはありませんでしたが、テスト中にリカバリを実施
> した
> > > ためか、recovery.doneというファイルに変名されていました。
> > > >   ファイルをrestore_commandでgrepした結果が以下です。
> > > >
> > > > ---
> > > > restore_command = 'cp
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > ---
> > > >
> > > > ・008.dbredirect/testdir/data1
> > > > 　recovery.confがありました。ファイルをrestore_commandでgrep
> した
> > > 結果が以下です。
> > > >
> > > > ---
> > > > restore_command = 'cp
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > ---
> > > >
> > > > ・008.dbredirect/testdir/data2
> > > > 　recovery.confがありました。ファイルをrestore_commandでgrep
> した
> > > 結果が以下です。
> > > >
> > > > ---
> > > > restore_command = 'cp
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > ---
> > > >
> > > > どのファイルにもrestore_command…と記載されていることが確認で
> きま
> > > した。
> > > >
> > > > 以上です。宜しくお願いします。
> > > >
> > > > > -----Original Message-----
> > > > > From: Tatsuo Ishii [mailto:ishii ＠ sraoss.co.jp]
> > > > > Sent: Monday, January 15, 2018 4:48 PM
> > > > > To: pgpool-general-jp ＠ sraoss.jp; Kariatsumari, Kazuki/狩集 一
> 樹
> > > > > Subject: Re: [pgpool-general-jp: 1478] Re: Postgres10環境で
> > > regression
> > > > > test 008に失敗します
> > > > >
> > > > > 石井です。
> > > > >
> > > > > 彭さんのパッチ適用後、
> > > > >
> > > > > ・008.dbredirect/testdir/data0
> > > > > ・008.dbredirect/testdir/data1
> > > > >
> > > > > に、recovery.confがあり、そこに
> > > > >
> > > > > restore_command = ... の行はありますか？
> > > > > --
> > > > > Tatsuo Ishii
> > > > > SRA OSS, Inc. Japan
> > > > > English: http://www.sraoss.co.jp/index_en.php
> > > > > Japanese:http://www.sraoss.co.jp
> > > > >
> > > > > > 狩集です。
> > > > > >
> > > > > > 回答ありがとうございます。
> > > > > >
> > > > > > 添付して頂いたパッチを適用して試してみましたが、結果に変化
> はあ
> > > りま
> > > > > せんでした。
> > > > > > 私がpgpool_setupに施した以下の変更を戻して再実施してみまし
> たが、
> > > > > > 008.dbredirect/testdir/data0/log/フォルダ内のログファイルに、
> > > > > > 第一報で申し上げたエラーが記載されており、こちらも結果に変
> 化が
> > > あり
> > > > > ませんでした。
> > > > > >
> > > > > > ・施した変更
> > > > > > ---
> > > > > > echo "wal_keep_segments = 5" >> $PGCONF
> > > > > > ---
> > > > > >
> > > > > > ・008.dbredirect/testdir/data0/log/フォルダ内のログファイル
> のエ
> > > ラー
> > > > > > ---
> > > > > > ERROR:  requested WAL segment 000000010000000000000002 has
> > > > > > already been removed
> > > > > > ---
> > > > > >
> > > > > > 以上です。宜しくお願いします。
> > > > > >
> > > > > >> -----Original Message-----
> > > > > >> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > >> Sent: Friday, January 12, 2018 1:07 PM
> > > > > >> To: Kariatsumari, Kazuki/狩集 一樹
> > > > > >> Cc: pgpool-general-jp ＠ sraoss.jp
> > > > > >> Subject: Re: [pgpool-general-jp: 1474] Postgres10環境で
> > > regression
> > > > > test
> > > > > >> 008に失敗します
> > > > > >>
> > > > > >> 彭です。
> > > > > >>
> > > > > >> 環境にもよりますが、ストリーミングレプリケーションの standby
> が
> > > > > >> WAL 適用する前に、primary の WAL が消されてしまったのが原
> 因だ
> > > と
> > > > > >> 思います。
> > > > > >>
> > > > > >> このような事象を防ぐために、アーカイブからリストアできるよ
> うに
> > > > > >> recovery.conf に restore_command='cp ... 'を追加した方がい
> いで
> > > す。
> > > > > >>
> > > > > >> 添付の pgpool_setup のパッチをためしていただけますか。
> > > > > >>
> > > > > >> 以上、よろしくお願いいたします。
> > > > > >>
> > > > > >> On Thu, 11 Jan 2018 00:26:39 +0000 "Kariatsumari, Kazuki"
> > > > > >> <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > >>
> > > > > >> > 狩集です。
> > > > > >> >
> > > > > >> > 回答ありがとうございます。
> > > > > >> > 自身にパスワード無しでssh接続できるようにした後、
> > > > > >> > 再度regression test 008を実施しましたが、
> > > > > >> > 状況に変化はありませんでした。
> > > > > >> >
> > > > > >> > また、008.dbredirect/testdir/pgpool_setup.logにエラーは
> あり
> > > ませ
> > > > > ん
> > > > > >> でした。
> > > > > >> >
> > > > > >> > 以上です。宜しくお願いします。
> > > > > >> >
> > > > > >> > > -----Original Message-----
> > > > > >> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > >> > > Sent: Wednesday, January 10, 2018 3:35 PM
> > > > > >> > > To: pgpool-general-jp ＠ sraoss.jp
> > > > > >> > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > > > >> > > Subject: Re: [pgpool-general-jp: 1474] Postgres10環境
> で
> > > > > regression
> > > > > >> test
> > > > > >> > > 008に失敗します
> > > > > >> > >
> > > > > >> > > 彭です。
> > > > > >> > >
> > > > > >> > > PostgreSQL ストリーミングレプリケーションの構築で失敗
> した
> > > ので
> > > > > はな
> > > > > >> い
> > > > > >> > > かと思います。
> > > > > >> > >
> > > > > >> > > 008.dbredirect のテストスクリプトの中で $PGPOOL_SETUP -m
> s
> > > -n 3
> > > > > を
> > > > > >> 実
> > > > > >> > > 行し、
> > > > > >> > > 3ノードのストリーミングレプリケーションを構成していま
> す。
> > > > > >> > >
> > > > > >> > > 008.dbredirect/testdir/pgpool_setup.log に何らかのエラ
> ーが
> > > 出力
> > > > > さ
> > > > > >> れた
> > > > > >> > > でしょうか。
> > > > > >> > >
> > > > > >> > > よくある原因としては、パスワードなしの ssh 設定してい
> なか
> > > った
> > > > > こと
> > > > > >> です。
> > > > > >> > > 自分自身に ssh でパスワード無しでログインできるように
> なっ
> > > てい
> > > > > る
> > > > > >> 必要
> > > > > >> > > があります。
> > > > > >> > >
> > > > > >> > > 以上、よろしくお願いします。
> > > > > >> > >
> > > > > >> > > On Wed, 10 Jan 2018 02:39:52 +0000 "Kariatsumari, Kazuki"
> > > > > >> > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > >> > >
> > > > > >> > > > 狩集と申します。
> > > > > >> > > >
> > > > > >> > > > RHEL7.3、Postgres10、pgpool-II-3.7.1環境を構築し、
> > > > > >> > > > regression testを実行したところ、testing 008.dbredirect
> > > で失
> > > > > 敗
> > > > > >> しま
> > > > > >> > > した。
> > > > > >> > > >
> > > > > >> > > > 008.dbredirect/testdir/data0/log/内のログを確認した
> とこ
> > > ろ、
> > > > > 以下
> > > > > >> の記
> > > > > >> > > 述がありました。
> > > > > >> > > >
> > > > > >> > > > 12031 2018-01-09 16:30:22 JST ERROR:  requested WAL
> > > > > >> > > > segment
> > > > > >> > > 000000010000000000000002 has already been removed
> > > > > >> > > >
> > > > > >> > > > 上記のエラーからWALが存在しないことが失敗の原因と考
> え、
> > > > > >> > > > regression test実行時にWALの値を設定するように、
> > > > > >> > > pgpool-II-3.7.1/src/test/pgpool_setupに
> > > > > >> > > > 以下の変更を加えました。(★行を追加しました)
> > > > > >> > > >
> > > > > >> > > > -----
> > > > > >> > > > 285                 echo "wal_level = hot_standby" >>
> > > $PGCONF
> > > > > >> > > > 286                 echo "wal_keep_segments = 5" >>
> $PGCONF
> > > > > ★
> > > > > >> > > > 287                 echo "max_wal_senders =
> $NUMCLUSTERS"
> > > >>
> > > > > >> $PGCONF
> > > > > >> > > > -----
> > > > > >> > > >
> > > > > >> > > > 変更後、再度008.dbredirectを実施したところ、
> > > > > >> > > > 008.dbredirect/testdir/log/pgpool.logに以下のメッセ
> ージ
> > > が出
> > > > > 力
> > > > > >> され
> > > > > >> > > るようになりました。
> > > > > >> > > >
> > > > > >> > > > 2018-01-09 20:50:50: pid 30748: DEBUG:  could not load
> > > > > >> > > > balance
> > > > > >> because
> > > > > >> > > of too much replication delay
> > > > > >> > > >
> > > > > >> > > > メッセージの文面を見る限り、レプリケーションで遅延が
> 発生
> > > して
> > > > > い
> > > > > >> るよ
> > > > > >> > > うです。
> > > > > >> > > > 遅延発生の原因について、ご存知のことがございましたら
> 教え
> > > て頂
> > > > > け
> > > > > >> ない
> > > > > >> > > でしょうか。
> > > > > >> > > >
> > > > > >> > > > 以上です。宜しくお願いします。
> > > > > >> > > >
> > > > > >> > > > _______________________________________________
> > > > > >> > > > pgpool-general-jp mailing list
> > > > > >> > > > pgpool-general-jp ＠ sraoss.jp
> > > > > >> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > > > >> > > >
> > > > > >> > >
> > > > > >> > >
> > > > > >> > > --
> > > > > >> > > Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > >> > >
> > > > > >> >
> > > > > >> >
> > > > > >> >
> > > > > >>
> > > > > >>
> > > > > >> --
> > > > > >> Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > >
> > > > > > _______________________________________________
> > > > > > pgpool-general-jp mailing list pgpool-general-jp ＠ sraoss.jp
> > > > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > >
> > > >
> > > > _______________________________________________
> > > > pgpool-general-jp mailing list
> > > > pgpool-general-jp ＠ sraoss.jp
> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > >
> > >
> > >
> > > --
> > > Bo Peng <pengbo ＠ sraoss.co.jp>
> > > SRA OSS, Inc. Japan
> >
> >
> 
> 
> --
> Bo Peng <pengbo ＠ sraoss.co.jp>
> SRA OSS, Inc. Japan
>

pgpool-general-jp メーリングリストの案内