MulaiMulai sekarang secara gratis

Menerapkan fallback model

Untuk menjamin layanan 24/7, TrailBlaze perlu beralih ke model yang lebih ringan saat Claude tidak tersedia. Terapkan fallback dari Claude ke Nova Text Lite ketika terjadi masalah, agar layanan aplikasi perjalanan tetap berjalan.

Pustaka json dan boto3, serta klien bedrock, sudah dimuat sebelumnya.

Latihan ini adalah bagian dari kursus

Pengantar Amazon Bedrock

Lihat Kursus

Petunjuk latihan

  • Bungkus pemanggilan model utama Claude dalam blok try.
  • Di blok except, tangani kesalahan menggunakan ClientError dan panggil model Nova Text Lite.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

def process_with_fallback(prompt):
    # Handle errors with a try-except block
    ____:
        response = bedrock.invoke_model(
          modelId="anthropic.claude-3-5-sonnet-20240620-v1:0",
          body=json.dumps({"anthropic_version": "bedrock-2023-05-31", "max_tokens": 100,
                           "messages": [{"role": "user", "content": [{"type": "text", "text": prompt}]}]}))
        return json.loads(response["body"].read().decode())["content"][0]["text"]
    except ____:
        fallback = bedrock.invoke_model(
            modelId="amazon.nova-lite-v1:0",
            body=json.dumps({"messages": [{"role": "user", "content": [{"text": prompt}]}]}))
        return json.loads(fallback["body"].read().decode())["output"]["message"]["content"][0]["text"]

print(process_with_fallback("What are the best destinations in Australia for kayaking?"))
Edit dan Jalankan Kode