[pgpool-general-jp: 1489] Re: Postgres10環境でregression test 008に失敗します

Kariatsumari, Kazuki ka.kariatsumari ＠ jp.fujitsu.com
2018年 1月 17日 (水) 11:46:44 JST 

狩集です。

回答ありがとうございます。

> 1点目に関わらずパスの修正が必要でした。
> 
> 環境によって、restore_command が必要になりました
今回のrestore_command のパス修正は、
本コミュニティで反映されたものが公開される予定でしょうか。

以上です。宜しくお願いします。

> -----Original Message-----
> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> Sent: Wednesday, January 17, 2018 11:00 AM
> To: Kariatsumari, Kazuki/狩集 一樹
> Cc: pgpool-general-jp ＠ sraoss.jp
> Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境でregression
> test 008に失敗します
> 
> 彭です。
> 
> > > restore_command のパスと archive_command で指定したディレクトリと
> 異
> > > なったので、
> > > それに合わせるために修正しました。
> > 上記の修正が必要になったのは、1点目の修正でアーカイブからリストア
> するようになったためでしょうか。
> > それとも1点目の修正に関わらず、必要なものでしょうか。
> 
> 1点目に関わらずパスの修正が必要でした。
> 
> 環境によって、restore_command が必要になりました。
> 
> ＃ローカル環境と Pgpool-II のテスト環境では regression test 008
> ＃のテストが失敗していませんでした。
> 
> On Wed, 17 Jan 2018 01:50:35 +0000
> "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> 
> > 狩集です。
> >
> > 回答ありがとうございます。
> >
> > > restore_command のパスと archive_command で指定したディレクトリと
> 異
> > > なったので、
> > > それに合わせるために修正しました。
> > 上記の修正が必要になったのは、1点目の修正でアーカイブからリストア
> するようになったためでしょうか。
> > それとも1点目の修正に関わらず、必要なものでしょうか。
> >
> > 以上です。宜しくお願いします。
> >
> >
> > > -----Original Message-----
> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > Sent: Wednesday, January 17, 2018 10:25 AM
> > > To: Kariatsumari, Kazuki/狩集 一樹
> > > Cc: pgpool-general-jp ＠ sraoss.jp
> > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境で
> regression
> > > test 008に失敗します
> > >
> > > 彭です。
> > >
> > > > ・1点目
> > > > 　Standby側でWALを適用する前にPrimary側のWALが削除されてい
> た原
> > > 因は、
> > > > 　テスト実施環境の性能不足による現象という認識で合っていますで
> しょ
> > > うか。
> > >
> > > はい、ご認識の通りです。
> > > マシンが遅ければ、standy で WALが適用される前に、primary の WAL が
> 消
> > > えてしまいました。
> > > そのため、アーカイブからリストアする必要がありました。
> > >
> > > > ・2点目
> > > > 　2つ目に頂いたパッチファイルについてですが、restore_command
> で指定
> > > しているcpコマンドの
> > > > 　コピー対象のパスを変更したことには、何か理由があるのでしょう
> か。
> > >
> > > restore_command のパスと archive_command で指定したディレクトリと
> 異
> > > なったので、
> > > それに合わせるために修正しました。
> > >
> > >    archive_command = 'cp %p $BASEDIR/archivedir/%f </dev/null'"
> > >
> > >
> > > -restore_command = 'cp $DATADIR_BASE/archivedir/pg_xlog/%f "%p" 2>
> > > /dev/null'
> > >                                                 ~~~~~~~ここが間
> 違い
> > > ました
> > >
> > > +restore_command = 'cp $DATADIR_BASE/archivedir/%f "%p" 2>
> /dev/null'
> > >
> > > 以上、よろしくお願いします。
> > >
> > > On Wed, 17 Jan 2018 01:09:50 +0000
> > > "Kariatsumari, Kazuki" <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > >
> > > > 狩集です。
> > > >
> > > > 頂いたパッチを適用して再実施したところ、
> > > > regression test 008に成功しました。ありがとうございます。
> > > >
> > > > 以下2点お伺いしたいことがあります。
> > > >
> > > > ・1点目
> > > > 　Standby側でWALを適用する前にPrimary側のWALが削除されてい
> た原
> > > 因は、
> > > > 　テスト実施環境の性能不足による現象という認識で合っていますで
> しょ
> > > うか。
> > > >
> > > > ・2点目
> > > > 　2つ目に頂いたパッチファイルについてですが、restore_command
> で指定
> > > しているcpコマンドの
> > > > 　コピー対象のパスを変更したことには、何か理由があるのでしょう
> か。
> > > >
> > > > 以上です。宜しくお願いします。
> > > >
> > > > > -----Original Message-----
> > > > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > Sent: Tuesday, January 16, 2018 3:08 PM
> > > > > To: pgpool-general-jp ＠ sraoss.jp
> > > > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > > > Subject: Re: [pgpool-general-jp: 1482] Re: Postgres10環境で
> > > regression
> > > > > test 008に失敗します
> > > > >
> > > > > 彭です。
> > > > >
> > > > > restore_command のアーカイブのパスを修正しました。
> > > > > お手数ですが、添付のパッチを再度お試していただけますか。
> > > > >
> > > > > 以上、よろしくお願いいたします。
> > > > >
> > > > > On Mon, 15 Jan 2018 08:19:54 +0000 "Kariatsumari, Kazuki"
> > > > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > >
> > > > > > 狩集です。
> > > > > >
> > > > > > 回答ありがとうございます。
> > > > > > 確認を行いました。
> > > > > >
> > > > > > ・008.dbredirect/testdir/data0
> > > > > > 　recovery.confはありませんでしたが、テスト中にリカバリを
> 実施
> > > した
> > > > > ためか、recovery.doneというファイルに変名されていました。
> > > > > >   ファイルをrestore_commandでgrepした結果が以下です。
> > > > > >
> > > > > > ---
> > > > > > restore_command = 'cp
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > ---
> > > > > >
> > > > > > ・008.dbredirect/testdir/data1
> > > > > > 　recovery.confがありました。ファイルをrestore_commandで
> grep
> > > した
> > > > > 結果が以下です。
> > > > > >
> > > > > > ---
> > > > > > restore_command = 'cp
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > ---
> > > > > >
> > > > > > ・008.dbredirect/testdir/data2
> > > > > > 　recovery.confがありました。ファイルをrestore_commandで
> grep
> > > した
> > > > > 結果が以下です。
> > > > > >
> > > > > > ---
> > > > > > restore_command = 'cp
> > > > >
> > >
> /home/feposs/oss/pgpool-II-3.7.1/src/test/regression/tests/008.dbred
> > > > > irect/testdir/archivedir/pg_xlog/%f "%p" 2> /dev/null'
> > > > > > ---
> > > > > >
> > > > > > どのファイルにもrestore_command…と記載されていることが確
> 認で
> > > きま
> > > > > した。
> > > > > >
> > > > > > 以上です。宜しくお願いします。
> > > > > >
> > > > > > > -----Original Message-----
> > > > > > > From: Tatsuo Ishii [mailto:ishii ＠ sraoss.co.jp]
> > > > > > > Sent: Monday, January 15, 2018 4:48 PM
> > > > > > > To: pgpool-general-jp ＠ sraoss.jp; Kariatsumari, Kazuki/狩
> 集 一
> > > 樹
> > > > > > > Subject: Re: [pgpool-general-jp: 1478] Re: Postgres10環
> 境で
> > > > > regression
> > > > > > > test 008に失敗します
> > > > > > >
> > > > > > > 石井です。
> > > > > > >
> > > > > > > 彭さんのパッチ適用後、
> > > > > > >
> > > > > > > ・008.dbredirect/testdir/data0
> > > > > > > ・008.dbredirect/testdir/data1
> > > > > > >
> > > > > > > に、recovery.confがあり、そこに
> > > > > > >
> > > > > > > restore_command = ... の行はありますか？
> > > > > > > --
> > > > > > > Tatsuo Ishii
> > > > > > > SRA OSS, Inc. Japan
> > > > > > > English: http://www.sraoss.co.jp/index_en.php
> > > > > > > Japanese:http://www.sraoss.co.jp
> > > > > > >
> > > > > > > > 狩集です。
> > > > > > > >
> > > > > > > > 回答ありがとうございます。
> > > > > > > >
> > > > > > > > 添付して頂いたパッチを適用して試してみましたが、結果に
> 変化
> > > はあ
> > > > > りま
> > > > > > > せんでした。
> > > > > > > > 私がpgpool_setupに施した以下の変更を戻して再実施してみ
> まし
> > > たが、
> > > > > > > > 008.dbredirect/testdir/data0/log/フォルダ内のログファイ
> ルに、
> > > > > > > > 第一報で申し上げたエラーが記載されており、こちらも結果
> に変
> > > 化が
> > > > > あり
> > > > > > > ませんでした。
> > > > > > > >
> > > > > > > > ・施した変更
> > > > > > > > ---
> > > > > > > > echo "wal_keep_segments = 5" >> $PGCONF
> > > > > > > > ---
> > > > > > > >
> > > > > > > > ・008.dbredirect/testdir/data0/log/フォルダ内のログファ
> イル
> > > のエ
> > > > > ラー
> > > > > > > > ---
> > > > > > > > ERROR:  requested WAL segment 000000010000000000000002 has
> > > > > > > > already been removed
> > > > > > > > ---
> > > > > > > >
> > > > > > > > 以上です。宜しくお願いします。
> > > > > > > >
> > > > > > > >> -----Original Message-----
> > > > > > > >> From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > > > >> Sent: Friday, January 12, 2018 1:07 PM
> > > > > > > >> To: Kariatsumari, Kazuki/狩集 一樹
> > > > > > > >> Cc: pgpool-general-jp ＠ sraoss.jp
> > > > > > > >> Subject: Re: [pgpool-general-jp: 1474] Postgres10環境
> で
> > > > > regression
> > > > > > > test
> > > > > > > >> 008に失敗します
> > > > > > > >>
> > > > > > > >> 彭です。
> > > > > > > >>
> > > > > > > >> 環境にもよりますが、ストリーミングレプリケーションの
> standby
> > > が
> > > > > > > >> WAL 適用する前に、primary の WAL が消されてしまったの
> が原
> > > 因だ
> > > > > と
> > > > > > > >> 思います。
> > > > > > > >>
> > > > > > > >> このような事象を防ぐために、アーカイブからリストアでき
> るよ
> > > うに
> > > > > > > >> recovery.conf に restore_command='cp ... 'を追加した方
> がい
> > > いで
> > > > > す。
> > > > > > > >>
> > > > > > > >> 添付の pgpool_setup のパッチをためしていただけますか。
> > > > > > > >>
> > > > > > > >> 以上、よろしくお願いいたします。
> > > > > > > >>
> > > > > > > >> On Thu, 11 Jan 2018 00:26:39 +0000 "Kariatsumari, Kazuki"
> > > > > > > >> <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > > > >>
> > > > > > > >> > 狩集です。
> > > > > > > >> >
> > > > > > > >> > 回答ありがとうございます。
> > > > > > > >> > 自身にパスワード無しでssh接続できるようにした後、
> > > > > > > >> > 再度regression test 008を実施しましたが、
> > > > > > > >> > 状況に変化はありませんでした。
> > > > > > > >> >
> > > > > > > >> > また、008.dbredirect/testdir/pgpool_setup.logにエラ
> ーは
> > > あり
> > > > > ませ
> > > > > > > ん
> > > > > > > >> でした。
> > > > > > > >> >
> > > > > > > >> > 以上です。宜しくお願いします。
> > > > > > > >> >
> > > > > > > >> > > -----Original Message-----
> > > > > > > >> > > From: Bo Peng [mailto:pengbo ＠ sraoss.co.jp]
> > > > > > > >> > > Sent: Wednesday, January 10, 2018 3:35 PM
> > > > > > > >> > > To: pgpool-general-jp ＠ sraoss.jp
> > > > > > > >> > > Cc: Kariatsumari, Kazuki/狩集 一樹
> > > > > > > >> > > Subject: Re: [pgpool-general-jp: 1474] Postgres10
> 環境
> > > で
> > > > > > > regression
> > > > > > > >> test
> > > > > > > >> > > 008に失敗します
> > > > > > > >> > >
> > > > > > > >> > > 彭です。
> > > > > > > >> > >
> > > > > > > >> > > PostgreSQL ストリーミングレプリケーションの構築で
> 失敗
> > > した
> > > > > ので
> > > > > > > はな
> > > > > > > >> い
> > > > > > > >> > > かと思います。
> > > > > > > >> > >
> > > > > > > >> > > 008.dbredirect のテストスクリプトの中で $PGPOOL_SETUP
> -m
> > > s
> > > > > -n 3
> > > > > > > を
> > > > > > > >> 実
> > > > > > > >> > > 行し、
> > > > > > > >> > > 3ノードのストリーミングレプリケーションを構成して
> いま
> > > す。
> > > > > > > >> > >
> > > > > > > >> > > 008.dbredirect/testdir/pgpool_setup.log に何らかの
> エラ
> > > ーが
> > > > > 出力
> > > > > > > さ
> > > > > > > >> れた
> > > > > > > >> > > でしょうか。
> > > > > > > >> > >
> > > > > > > >> > > よくある原因としては、パスワードなしの ssh 設定し
> てい
> > > なか
> > > > > った
> > > > > > > こと
> > > > > > > >> です。
> > > > > > > >> > > 自分自身に ssh でパスワード無しでログインできるよ
> うに
> > > なっ
> > > > > てい
> > > > > > > る
> > > > > > > >> 必要
> > > > > > > >> > > があります。
> > > > > > > >> > >
> > > > > > > >> > > 以上、よろしくお願いします。
> > > > > > > >> > >
> > > > > > > >> > > On Wed, 10 Jan 2018 02:39:52 +0000 "Kariatsumari, Kazuki"
> > > > > > > >> > > <ka.kariatsumari ＠ jp.fujitsu.com> wrote:
> > > > > > > >> > >
> > > > > > > >> > > > 狩集と申します。
> > > > > > > >> > > >
> > > > > > > >> > > > RHEL7.3、Postgres10、pgpool-II-3.7.1環境を構築
> し、
> > > > > > > >> > > > regression testを実行したところ、testing
> 008.dbredirect
> > > > > で失
> > > > > > > 敗
> > > > > > > >> しま
> > > > > > > >> > > した。
> > > > > > > >> > > >
> > > > > > > >> > > > 008.dbredirect/testdir/data0/log/内のログを確認
> した
> > > とこ
> > > > > ろ、
> > > > > > > 以下
> > > > > > > >> の記
> > > > > > > >> > > 述がありました。
> > > > > > > >> > > >
> > > > > > > >> > > > 12031 2018-01-09 16:30:22 JST ERROR:  requested WAL
> > > > > > > >> > > > segment
> > > > > > > >> > > 000000010000000000000002 has already been removed
> > > > > > > >> > > >
> > > > > > > >> > > > 上記のエラーからWALが存在しないことが失敗の原因
> と考
> > > え、
> > > > > > > >> > > > regression test実行時にWALの値を設定するように、
> > > > > > > >> > > pgpool-II-3.7.1/src/test/pgpool_setupに
> > > > > > > >> > > > 以下の変更を加えました。(★行を追加しました)
> > > > > > > >> > > >
> > > > > > > >> > > > -----
> > > > > > > >> > > > 285                 echo "wal_level = hot_standby"
> >>
> > > > > $PGCONF
> > > > > > > >> > > > 286                 echo "wal_keep_segments = 5"
> >>
> > > $PGCONF
> > > > > > > ★
> > > > > > > >> > > > 287                 echo "max_wal_senders =
> > > $NUMCLUSTERS"
> > > > > >>
> > > > > > > >> $PGCONF
> > > > > > > >> > > > -----
> > > > > > > >> > > >
> > > > > > > >> > > > 変更後、再度008.dbredirectを実施したところ、
> > > > > > > >> > > > 008.dbredirect/testdir/log/pgpool.logに以下のメ
> ッセ
> > > ージ
> > > > > が出
> > > > > > > 力
> > > > > > > >> され
> > > > > > > >> > > るようになりました。
> > > > > > > >> > > >
> > > > > > > >> > > > 2018-01-09 20:50:50: pid 30748: DEBUG:  could not
> > > > > > > >> > > > load balance
> > > > > > > >> because
> > > > > > > >> > > of too much replication delay
> > > > > > > >> > > >
> > > > > > > >> > > > メッセージの文面を見る限り、レプリケーションで遅
> 延が
> > > 発生
> > > > > して
> > > > > > > い
> > > > > > > >> るよ
> > > > > > > >> > > うです。
> > > > > > > >> > > > 遅延発生の原因について、ご存知のことがございまし
> たら
> > > 教え
> > > > > て頂
> > > > > > > け
> > > > > > > >> ない
> > > > > > > >> > > でしょうか。
> > > > > > > >> > > >
> > > > > > > >> > > > 以上です。宜しくお願いします。
> > > > > > > >> > > >
> > > > > > > >> > > > _______________________________________________
> > > > > > > >> > > > pgpool-general-jp mailing list
> > > > > > > >> > > > pgpool-general-jp ＠ sraoss.jp
> > > > > > > >> > > > http://www.sraoss.jp/mailman/listinfo/pgpool-genera
> > > > > > > >> > > > l-jp
> > > > > > > >> > > >
> > > > > > > >> > >
> > > > > > > >> > >
> > > > > > > >> > > --
> > > > > > > >> > > Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > > > >> > >
> > > > > > > >> >
> > > > > > > >> >
> > > > > > > >> >
> > > > > > > >>
> > > > > > > >>
> > > > > > > >> --
> > > > > > > >> Bo Peng <pengbo ＠ sraoss.co.jp> SRA OSS, Inc. Japan
> > > > > > > >
> > > > > > > > _______________________________________________
> > > > > > > > pgpool-general-jp mailing list pgpool-general-jp ＠ sraoss.jp
> > > > > > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > > > >
> > > > > >
> > > > > > _______________________________________________
> > > > > > pgpool-general-jp mailing list pgpool-general-jp ＠ sraoss.jp
> > > > > > http://www.sraoss.jp/mailman/listinfo/pgpool-general-jp
> > > > > >
> > > > >
> > > > >
> > > > > --
> > > > > Bo Peng <pengbo ＠ sraoss.co.jp>
> > > > > SRA OSS, Inc. Japan
> > > >
> > > >
> > >
> > >
> > > --
> > > Bo Peng <pengbo ＠ sraoss.co.jp>
> > > SRA OSS, Inc. Japan
> > >
> >
> >
> >
> 
> 
> --
> Bo Peng <pengbo ＠ sraoss.co.jp>
> SRA OSS, Inc. Japan
>

pgpool-general-jp メーリングリストの案内