Kinesisストリームのシャード数更新の制限

9月 10, 2019AWS,Kinesis

概要

 

• Amazon Kinesis Data Streams はシャードをセットにしたものです。1シャードあたりの上限があるため、ストリームの容量を増やす場合はシャード数を増やすことになります。
• 以下、シャードの説明です。（引用元: Amazon Kinesis Data Streams開発者ガイド）

シャードは、ストリーム内の一意に識別されたデータレコードのシーケンスです。ストリームは複数のシャードで構成され、各シャードが容量の 1 単位になります。各シャードは 読み取りは最大 1 秒あたり 5 件のトランザクション、データ読み取りの最大合計レートは 1 秒あたり 2 MB と 書き込みについては最大 1 秒あたり 1,000 レコード、データの最大書き込み合計レートは 1 秒あたり 1 MB (パーティションキーを含む) をサポートできます。ストリームのデータ容量は、ストリームに指定したシャードの数によって決まります。ストリームの総容量はシャードの容量の合計です。 データ転送速度が増加した場合、ストリームに割り当てられたシャード数を増やしたり、減らしたりできます。

 

シャード数更新時のエラー

• Amazon Kinesis Data Streams のシャード数は更新できます。ただし、シャード数を増やす場合は一度に2倍、減らす場合は一度に1/2までの数しか変更できません。
• その他に重要な制約として、24時間に2回 10回までしかシャード数を更新することができません。以下、シャード数を3回以上更新した際に表示されるエラーです。

シャード数の更新で問題が発生しました。エラーメッセージ:Rate exceeded for stream <ストリーム名> under account <アカウント番号>.

シャード数更新の制限緩和

• シャード数更新は、24時間に2回 10回しか行えません。但し、この制約は緩和することが可能です。制限緩和は、BasicのSupport planでも申請可能です。
• Service limit increaseを選択し、以下を入力して、Caseを発行します。
  
  • サービス: Kinesis Streams
  • リージョン:  ←お使いのリージョン
  • 制限の名前: 24 時間のローリング期間あたりの UpdateShardCount
  • リクエスト数 申請する上限数: ←必要となる数

  参考資料

• シャード数更新の制限が24時間以内に2回から10回に変更となりました。