Rate limits jaga API tetap stabil dan respons tetap cepat.
Cara kerjanya
- Limit dihitung per API token.
- Kalau kamu kebanyakan request, API balas
429 Too Many Requests. - Kasih jeda dengan exponential backoff sebelum retry.
Strategi retry
- Dapat
429? Tunggu dulu, lalu retry dengan backoff (1s,2s,4s, …). - Tambah jitter biar retry nggak numpuk barengan.
- Stop setelah mentok batas percobaan.
Contoh backoff (pseudocode)
attempt = 0
while attempt < 5:
response = call_api()
if response.status != 429:
break
sleep((2 ^ attempt) + random_jitter)
attempt += 1