Kinesisストリームのシャード数更新の制限

概要

 
  • Amazon Kinesis Data Streams はシャードをセットにしたものです。1シャードあたりの上限があるため、ストリームの容量を増やす場合はシャード数を増やすことになります。
  • 以下、シャードの説明です。(引用元: Amazon Kinesis Data Streams開発者ガイド
シャードは、ストリーム内の一意に識別されたデータレコードのシーケンスです。ストリームは複数のシャードで構成され、各シャードが容量の 1 単位になります。各シャードは 読み取りは最大 1 秒あたり 5 件のトランザクション、データ読み取りの最大合計レートは 1 秒あたり 2 MB と 書き込みについては最大 1 秒あたり 1,000 レコード、データの最大書き込み合計レートは 1 秒あたり 1 MB (パーティションキーを含む) をサポートできます。ストリームのデータ容量は、ストリームに指定したシャードの数によって決まります。ストリームの総容量はシャードの容量の合計です。 データ転送速度が増加した場合、ストリームに割り当てられたシャード数を増やしたり、減らしたりできます。
 

シャード数更新時のエラー

  • Amazon Kinesis Data Streams のシャード数は更新できます。ただし、シャード数を増やす場合は一度に2倍、減らす場合は一度に1/2までの数しか変更できません。
  • その他に重要な制約として、24時間に2回までしかシャード数を更新することができません。以下、シャード数を3回以上更新した際に表示されるエラーです。
シャード数の更新で問題が発生しました。エラーメッセージ:Rate exceeded for stream <ストリーム名> under account <アカウント番号>.

シャード数更新の制限緩和

  • シャード数更新は、24時間に2回しか行えません。但し、この制約は緩和することが可能です。制限緩和は、BasicのSupport planでも申請可能です。
  • Service limit increaseを選択し、以下を入力して、Caseを発行します。
    • サービス: Kinesis Streams
    • リージョン:  ←お使いのリージョン
    • 制限の名前: 24 時間のローリング期間あたりの UpdateShardCount
    • リクエスト数 申請する上限数: ←必要となる数

AWS, Kinesis

Posted by takaaki