🧪 自動化測試報告

報告 ID: 20260412_020743

產生時間: 2026-04-12T02:07:43.653693

測試類型: api

🖥️ 測試環境

模型Agent gemma3:27b  ·  部署 本地 (ollama)  ·  Evaluator gpt-4.1-mini  ·  部署 雲端 (OpenAI API)
RAG知識庫 ChromaDB (FAQ / Web / Cases / Manuals)  ·  Embedding BAAI/bge-m3  ·  Hybrid Search ON (fusion=rrf, semantic_k=20, bm25_k=20)  ·  Reranker OFF
測試資料 airiti/華藝FAQ.csv  ·  題數 20  ·  Timeout 180s  ·  主機 ai3-glis  ·  Commit 6e7c036

📊 總體統計

20
有效測試數
17
成功
3
失敗
0
跳過（超時）
85.0%
成功率
0.79
平均分數
32.5s
平均回應時間

📁 分類統計

分類 總數 成功 失敗 成功率 平均分數
公司介紹 3 3 0 100.0% 0.87
Airiti Library 17 14 3 82.4% 0.78

🔧 工具使用統計

工具 使用次數
search_airiti_web 13
search_airiti_faq 7
ask_user 2

⚠️ 回答錯誤常見原因（AI 評估回答失敗案例分析）

缺少支援語言介面資訊（繁體中文、簡體中文、英文）缺少語言切換位置說明（網站右上角）

📋 測試案例詳情

✅ faq_faq_0001 華藝數位是什麼公司？ 分數: 0.90 13.0s ▶
✅ faq_faq_0002 華藝數位提供哪些產品和服務？ 分數: 0.80 18.1s ▶
✅ faq_faq_0003 如何聯絡華藝數位客服？ 分數: 0.90 13.4s ▶
✅ faq_faq_0004 什麼是 Airiti Library 華藝線上圖書館？ 分數: 1.00 16.9s ▶
✅ faq_faq_0005 Airiti Library 收錄哪些類型的文獻？ 分數: 0.83 14.1s ▶
✅ faq_faq_0006 如何使用 Airiti Library 搜尋文獻？ 分數: 1.00 12.7s ▶
✅ faq_faq_0007 Airiti Library 支援哪些檢索模式？ 分數: 1.00 16.1s ▶
✅ faq_faq_0008 如何下載 Airiti Library 的全文 PDF？ 分數: 1.00 13.7s ▶
✅ faq_faq_0009 為什麼我無法下載 Airiti Library 的全文？ 分數: 1.00 13.9s ▶
✅ faq_faq_0010 如何在校外使用 Airiti Library？ 分數: 1.00 14.8s ▶
✅ faq_faq_0011 Airiti Library 支援哪些引用格式匯出？ 分數: 1.00 10.8s ▶
✅ faq_faq_0012 什麼是 Airiti Library 的引文互連功能？ 分數: 0.80 16.8s ▶
❌ faq_faq_0013 什麼是 PlumX 替代計量分析？ 分數: 0.00 191.7s ▶
✅ faq_faq_0014 Airiti Library 有哪些個人化服務？ 分數: 1.00 13.5s ▶
✅ faq_faq_0015 如何成為 Airiti Library 會員？ 分數: 1.00 14.2s ▶
❌ faq_faq_0016 Airiti Library 支援哪些語言介面？ 分數: 0.15 14.1s ▶
❌ faq_faq_0017 Airiti Library 可以在手機上使用嗎？ 分數: 0.00 192.3s ▶
✅ faq_faq_0018 什麼是高被引文獻分析功能？ 分數: 0.87 20.9s ▶
✅ faq_faq_0019 如何查看期刊的影響力指標？ 分數: 0.60 14.1s ▶
✅ faq_faq_0020 Airiti Library 與哪些學術平台合作？ 分數: 1.00 14.4s ▶