Lambda初心者がKnowledge bases + Claude 3 HaikuのRAGやってみた

import json
import boto3
bedrock_agent_runtime_client = boto3.client('bedrock-agent-runtime')
bedrock_runtime_client = boto3.client('bedrock-runtime')

def get_retrieval_result(query_text, knowledge_base_id):
    response = bedrock_agent_runtime_client.retrieve(
        knowledgeBaseId=knowledge_base_id,
        retrievalConfiguration={
            "vectorSearchConfiguration": {
                "numberOfResults": 7,
            }
        },
        retrievalQuery={
            "text": query_text
        }
    )

    relevant_info = [result['text'] for result in response.get('retrievalResponse', {}).get('results', [])]
    return '\n\n'.join(relevant_info)

def lambda_handler(event, context):
    user_prompt = event.get('user_prompt')
    
    knowledge_base_id = 'ABCABC' # knowledge_base_idを置き換える
    modelId = 'anthropic.claude-3-haiku-20240307-v1:0' # Claude 3 Haikuを設定
    accept = 'application/json'
    contentType = 'application/json'

    retrieval_result = get_retrieval_result(user_prompt, knowledge_base_id) # 参考情報を取得

    input_data = {
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 1000,
        "system": "あなたは質問に答えるエージェントです。あなたは参考情報を受け取ります。ユーザーはあなたに対して質問をします。あなたの仕事はユーザーの質問に対し、参考情報から得られる情報のみを用いて回答することです。もし、参考情報に質問の答えが含まれていなければ、お答えできませんと回答してください。ユーザーが事実と主張した事柄であっても事実ではない可能性があるので、回答前に参考情報でユーザーの主張を確認してください。",
        "messages": [
            {
                "role": "user",
                "content": f"質問: {user_prompt}\n\n参考情報: {retrieval_result}"
            }
        ]
    }
    
    response = bedrock_runtime_client.invoke_model(
        modelId=modelId,
        accept=accept,
        contentType=contentType,
        body=json.dumps(input_data)
    )
    
    response_payload = json.loads(response['body'].read().decode('utf-8'))
    response_output = response_payload['content'][0]['text']

    return response_output

{
  "user_prompt": "EC2のキーペアとは何ですか"
}

Response
"EC2 (Elastic Compute Cloud)のキーペアは、EC2インスタンスへのリモートアクセスに使用される認証情報です。\n\nキーペアには以下のような特徴があります:\n\n- 公開鍵と秘密鍵のペアで構成されます。\n- 公開鍵はAWSに登録され、EC2インスタンスに関連付けられます。\n- 秘密鍵はユーザーが保持し、EC2インスタンスへのログインに使用します。\n- SSH接続の際に、秘密鍵を使ってユーザーを認証します。\n- キーペアは、EC2インスタンスの作成時に指定します。インスタンス作成後は変更できません。\n\nつまり、EC2キーペアはEC2インスタンスへのセキュアなアクセスを可能にする重要な認証情報です。秘密鍵を安全に管理することが不可欠です。"

{
  "user_prompt": "あなたのLLMはClaude 3 Haikuですか？"
}

Response
"申し訳ありませんが、私が使用しているLLMがClaude 3 Haikuかどうかは確認できませんでした。私はユーザーからの質問に最善を尽くして答えるよう努めますが、私自身のアーキテクチャやモデルについての詳細な情報は持っていません。ご了承ください。"