Kinesisストリームのシャード数更新の制限
概要
- Amazon Kinesis Data Streams はシャードをセットにしたものです。1シャードあたりの上限があるため、ストリームの容量を増やす場合はシャード数を増やすことになります。
- 以下、シャードの説明です。（引用元: Amazon Kinesis Data Streams開発者ガイド）
シャードは、ストリーム内の一意に識別されたデータレコードのシーケンスです。ストリームは複数のシャードで構成され、各シャードが容量の 1 単位になります。各シャードは 読み取りは最大 1 秒あたり 5 件のトランザクション、データ読み取りの最大合計レートは 1 秒あたり 2 MB と 書き込みについては最大 1 秒あたり 1,000 レコード、データの最大書き込み合計レートは 1 秒あたり 1 MB (パーティションキーを含む) をサポートできます。ストリームのデータ容量は、ストリームに指定したシャードの数によって決まります。ストリームの総容量はシャードの容量の合計です。 データ転送速度が増加した場合、ストリームに割り当てられたシャード数を増やしたり、減らしたりできます。
シャード数更新時のエラー
- Amazon Kinesis Data Streams のシャード数は更新できます。ただし、シャード数を増やす場合は一度に2倍、減らす場合は一度に1/2までの数しか変更できません。
- その他に重要な制約として、24時間に
2回10回までしかシャード数を更新することができません。以下、シャード数を3回以上更新した際に表示されるエラーです。
シャード数の更新で問題が発生しました。エラーメッセージ:Rate exceeded for stream <ストリーム名> under account <アカウント番号>.
シャード数更新の制限緩和
- シャード数更新は、24時間に
2回10回しか行えません。但し、この制約は緩和することが可能です。制限緩和は、BasicのSupport planでも申請可能です。 - Service limit increaseを選択し、以下を入力して、Caseを発行します。
- サービス: Kinesis Streams
- リージョン: ←お使いのリージョン
- 制限の名前: 24 時間のローリング期間あたりの UpdateShardCount
- リクエスト数 申請する上限数: ←必要となる数
- シャード数更新の制限が24時間以内に2回から10回に変更となりました。