{  "results": [    {      "query_id": "0",      "query": "世界上最长的河流是什么？",      "gt_answer": "尼罗河是非洲东北部一条主要的北流河流。它流入地中海。尼罗河是非洲最长的河流，历史上一直被认为是世界上最长的河流，尽管这一点受到了研究的质疑，表明亚马逊河略长。以年流量（立方米水量）衡量，尼罗河是世界主要河流中最小的河流之一。其流域长约 6,650 公里（4,130 英里），覆盖 11 个国家：刚果民主共和国、坦桑尼亚、布隆迪、卢旺达、乌干达、肯尼亚、埃塞俄比亚、厄立特里亚、南苏丹、苏丹和埃及。",      "response": "世界上最长的河流是尼罗河，全长约 6,650 公里（4,130 英里），穿过非洲东北部，流经乌干达、苏丹和埃及等国家，最后注入地中海。关于这个标题存在一些争议，因为最近的研究表明，如果亚马逊河最长的支流也包括在内，亚马逊河的长度可能会更长，可能会延长至约 7,000 公里（4,350 英里）。",      "retrieved_context": [        {          "doc_id": "000",          "text": "科学家们争论亚马逊河还是尼罗河是世界上最长的河流。传统上，尼罗河被认为更长，但最近的信息表明亚马逊河可能更长。"        },        {          "doc_id": "001",          "text": "尼罗河是古埃及人财富和权力崛起的中心。由于埃及几乎不存在降雨，尼罗河及其每年的洪水为人民提供了富饶农业的肥沃绿洲。"        },        {          "doc_id": "002",          "text": "世界上最长的河流被定义为最长的天然溪流，其水流在具有明确河岸的河道或河床上流动。"        },        {          "doc_id": "003",          "text": "如果包括最长的支流，亚马逊河可能会被认为更长，可能将其长度延长至约 7,000 公里"        }      ]}

ragchecker-cli \    --input_path=examples/checking_inputs.json \    --output_path=examples/checking_outputs.json \    --extractor_name=bedrock/meta.llama3-70b-instruct-v1:0 \    --checker_name=bedrock/meta.llama3-70b-instruct-v1:0 \    --batch_size_extractor=64 \    --batch_size_checker=64 \--metrics all_metrics

from ragchecker import RAGResults, RAGCheckerfrom ragchecker.metrics import all_metrics# 从JSON中初始化RAGResultswith open("examples/checking_inputs.json") as fp:rag_results = RAGResults.from_json(fp.read())# 设置评估器evaluator = RAGChecker(extractor_name="bedrock/meta.llama3-70b-instruct-v1:0",checker_name="bedrock/meta.llama3-70b-instruct-v1:0",batch_size_extractor=32,batch_size_checker=32)# 对结果进行评估evaluator.evaluate(rag_results, all_metrics)print(rag_results)

RAGResults(  2 RAG results,  Metrics:  {    "overall_metrics": {      "precision": 76.4,      "recall": 62.5,      "f1": 68.3    },    "retriever_metrics": {      "claim_recall": 61.4,      "context_precision": 87.5    },    "generator_metrics": {      "context_utilization": 87.5,      "noise_sensitivity_in_relevant": 19.1,      "noise_sensitivity_in_irrelevant": 0.0,      "hallucination": 4.5,      "self_knowledge": 27.3,      "faithfulness": 68.2    }  })

{  "overall_metrics": {    "precision": 68.2,    "recall": 55.7,    "f1": 61.3  },  "retriever_metrics": {    "claim_recall": 50.4,    "context_precision": 74.8  },  "generator_metrics": {    "context_utilization": 75.3,    "noise_sensitivity_in_relevant": 30.7,    "noise_sensitivity_in_irrelevant": 12.1,    "hallucination": 12.8,    "self_knowledge": 19.4,    "faithfulness": 57.6  }}

{  "overall_metrics": {    "precision": 76.4,    "recall": 62.5,    "f1": 68.3  },  "retriever_metrics": {    "claim_recall": 61.4,    "context_precision": 87.5  },  "generator_metrics": {    "context_utilization": 87.5,    "noise_sensitivity_in_relevant": 19.1,    "noise_sensitivity_in_irrelevant": 0.0,    "hallucination": 4.5,    "self_knowledge": 27.3,    "faithfulness": 68.2  }}