ПочатиПочніть безкоштовно

Реалізація обробки обмеження швидкості (rate limit)

TrailBlaze — платформа бронювання пригодницьких подорожей на базі ШІ — нещодавно запустила чат-асистента, який отримує сплеск запитань щодо маршрутів щоразу, коли з'являються нові авіапропозиції. Ви створите допоміжну функцію, яка впорається з обмеженням Bedrock (throttling), додавши експоненційне відкладення повторних спроб.

Бібліотеки json, time і boto3 уже завантажені. Клієнт bedrock і model_id також попередньо ініціалізовані.

Ця вправа є частиною курсу

Вступ до Amazon Bedrock

Переглянути курс

Інструкції до вправи

  • Додайте prompt до рядка запиту API.
  • Реалізуйте експоненційне відкладення.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

def smart_retry(prompt, max_attempts=3):
  base_delay = 0.5
  
  for attempt in range(max_attempts):
    try:
      # Complete the API request string with the prompt
      response = bedrock.invoke_model(
        modelId=model_id,
        body=json.dumps({"anthropic_version": "bedrock-2023-05-31", "max_tokens": 100,
                         "messages": [{"role": "user", "content": [{"type": "text", "text": ____}]}]}))
      return json.loads(response["body"].read().decode())["content"][0]["text"]
    
    except Exception as e:
      if "ThrottlingException" in str(e):
        # Implement exponential backoff
        time.sleep(____)
      else: raise e
  return "Max retries exceeded"

print(smart_retry("Tell me about hiking in Patagonia."))
Редагувати та запускати код