【Amazon Bedrock】Claude 3.5 HaikuのLatency-optimized inferenceって結局速いの？

import boto3
import json
from datetime import datetime
import time
import os

def invoke_model(model_id, prompt, optimized):
    start_time = time.time()

    body = json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 5000,
        "messages": [
            {
                "role": "user",
                "content": prompt
            }
        ],
        "temperature": 0.0,
        "top_p": 0.0,
    })

    client = boto3.client(
            service_name='bedrock-runtime',
            region_name='us-east-2'
        )

    if "anthropic.claude-3-haiku-20240307-v1:0" in model_id:
        response = client.invoke_model(
            modelId=model_id,
            body=body,
        )
    else:
        if optimized:
            response = client.invoke_model(
                modelId=model_id,
                body=body,
                performanceConfigLatency="optimized",
            )
        else:
            response = client.invoke_model(
                modelId=model_id,
                body=body,
            )

    response_body = json.loads(response.get('body').read())
    end_time = time.time()
    execution_time = end_time - start_time

    return response_body.get('content')[0].get('text'), response_body.get('usage').get('output_tokens'), execution_time

def compare_models(prompt):
    claude_3_haiku = "us.anthropic.claude-3-haiku-20240307-v1:0"
    claude_35_haiku = "us.anthropic.claude-3-5-haiku-20241022-v1:0"

    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S")

    print(f"比較時刻: {timestamp}")
    print(f"プロンプト: {prompt}\n")

    print("Claude 3 Haiku の応答:")
    claude_3_response, claude_3_output_tokens, claude_3_time = invoke_model(claude_3_haiku, prompt, optimized=False)
    print(f"応答時間: {claude_3_time:.2f}秒")
    print(f"出力トークン数: {claude_3_output_tokens}")
    print(claude_3_response)
    print("\n" + "-"*50 + "\n")

    print("Claude 3.5 Haiku（not optimized） の応答:")
    claude_35_response_not_optimized, claude_35_output_tokens_not_optimized, claude_35_time_not_optimized = invoke_model(claude_35_haiku, prompt, optimized=False)
    print(f"応答時間: {claude_35_time_not_optimized:.2f}秒")
    print(f"出力トークン数: {claude_35_output_tokens_not_optimized}")
    print(claude_35_response_not_optimized)
    print("\n" + "-"*50 + "\n")

    print("Claude 3.5 Haiku（optimized） の応答:")
    claude_35_response_optimized, claude_35_output_tokens_optimized, claude_35_time_optimized = invoke_model(claude_35_haiku, prompt, optimized=True)
    print(f"応答時間: {claude_35_time_optimized:.2f}秒")
    print(f"出力トークン数: {claude_35_output_tokens_optimized}")
    print(claude_35_response_optimized)

    os.makedirs('results', exist_ok=True)
    file_path = os.path.join('results', f"comparison_results_{timestamp.replace(' ', '_')}.txt")

    with open(file_path, "w", encoding='utf-8') as f:
        f.write(f"比較時刻: {timestamp}\n")
        f.write(f"プロンプト: {prompt}\n\n")
        f.write("Claude 3 Haiku の応答:\n")
        f.write(f"応答時間: {claude_3_time:.2f}秒\n")
        f.write(f"出力トークン数: {claude_3_output_tokens}\n")
        f.write(claude_3_response)
        f.write("\n\n" + "-"*50 + "\n\n")
        f.write("Claude 3.5 Haiku（not optimized） の応答:\n")
        f.write(f"応答時間: {claude_35_time_not_optimized:.2f}秒\n")
        f.write(f"出力トークン数: {claude_35_output_tokens_not_optimized}\n")
        f.write(claude_35_response_not_optimized)
        f.write("\n\n" + "-"*50 + "\n\n")
        f.write("Claude 3.5 Haiku（optimized） の応答:\n")
        f.write(f"応答時間: {claude_35_time_optimized:.2f}秒\n")
        f.write(f"出力トークン数: {claude_35_output_tokens_optimized}\n")
        f.write(claude_35_response_optimized)
        f.write("\n\n" + "-"*50 + "\n\n")
        f.write("実行時間の比較:\n")
        f.write(f"Claude 3 Haiku: {claude_3_time:.2f}秒\n")
        f.write(f"Claude 3.5 Haiku（not optimized）: {claude_35_time_not_optimized:.2f}秒\n")
        f.write(f"Claude 3.5 Haiku（optimized）: {claude_35_time_optimized:.2f}秒\n")
        f.write("\n\n" + "-"*50 + "\n\n")
        f.write("実行時間の差分:\n")
        f.write(f"差分: 3 Haiku - 3.5 Haiku（not optimized）: {(claude_3_time - claude_35_time_not_optimized):.2f}秒\n")
        f.write(f"差分: 3 Haiku - 3.5 Haiku（optimized）: {(claude_3_time - claude_35_time_optimized):.2f}秒\n")
        f.write(f"差分: 3.5 Haiku（not optimized） - 3.5 Haiku（optimized）: {(claude_35_time_not_optimized - claude_35_time_optimized):.2f}秒\n")
        f.write("\n\n" + "-"*50 + "\n\n")
        f.write("出力トークン数の比較:\n")
        f.write(f"Claude 3 Haiku: {claude_3_output_tokens}\n")
        f.write(f"Claude 3.5 Haiku（not optimized）: {claude_35_output_tokens_not_optimized}\n")
        f.write(f"Claude 3.5 Haiku（optimized）: {claude_35_output_tokens_optimized}")

def main():
    test_prompt = "CI/CDパイプラインの構築について、GitHubActionsを例に挙げて具体的な実装方法を説明してください。サンプルの設定ファイルも含めてください。"

    try:
        compare_models(test_prompt)
        print("\nresults/ディレクトリに結果を保存しました。")
    except Exception as e:
        print(f"エラーが発生しました: {str(e)}")

if __name__ == "__main__":
    main()

比較時刻: 2024-12-16 22:23:06
プロンプト: CI/CDパイプラインの構築について、GitHubActionsを例に挙げて具体的な実装方法を説明してください。サンプルの設定ファイルも含めてください。

Claude 3 Haiku の応答:
応答時間: 9.30秒
出力トークン数: 719
(応答内容...)

--------------------------------------------------

Claude 3.5 Haiku（not optimized） の応答:
応答時間: 22.73秒
出力トークン数: 1368
(応答内容...)

--------------------------------------------------

Claude 3.5 Haiku（optimized） の応答:
応答時間: 13.23秒
出力トークン数: 1391
(応答内容...)

--------------------------------------------------

実行時間の比較:
Claude 3 Haiku: 9.30秒
Claude 3.5 Haiku（not optimized）: 22.73秒
Claude 3.5 Haiku（optimized）: 13.23秒

--------------------------------------------------

実行時間の差分:
差分: 3 Haiku - 3.5 Haiku（not optimized）: -13.43秒
差分: 3 Haiku - 3.5 Haiku（optimized）: -3.93秒
差分: 3.5 Haiku（not optimized） - 3.5 Haiku（optimized）: 9.50秒

--------------------------------------------------

出力トークン数の比較:
Claude 3 Haiku: 719
Claude 3.5 Haiku（not optimized）: 1368
Claude 3.5 Haiku（optimized）: 1391