報告 ID: 20260412_025222
產生時間: 2026-04-12T02:52:22.626469
測試類型: unit
| 模型 | Agent gemma3:27b · 部署 本地 (ollama) · Evaluator gpt-4.1-mini · 部署 雲端 (OpenAI API) |
| RAG | 知識庫 ChromaDB (FAQ / Web / Cases / Manuals) · Embedding BAAI/bge-m3 · Hybrid Search ON (fusion=rrf, semantic_k=20, bm25_k=20) · Reranker OFF |
| 測試 | 資料 airiti/華藝FAQ.csv · 題數 100 · Timeout 180s · 主機 ai3-glis · Commit 6e7c036 |
| 分類 | 總數 | 成功 | 失敗 | 成功率 | 平均分數 |
|---|---|---|---|---|---|
| 公司介紹 | 3 | 3 | 0 | 100.0% | 0.89 |
| Airiti Library | 17 | 16 | 1 | 94.1% | 0.96 |
| DOI | 10 | 10 | 0 | 100.0% | 0.98 |
| 是科探索 | 5 | 5 | 0 | 100.0% | 0.96 |
| 電子書 | 4 | 4 | 0 | 100.0% | 1.00 |
| ACI | 3 | 3 | 0 | 100.0% | 1.00 |
| 期刊授權 | 3 | 3 | 0 | 100.0% | 0.97 |
| 訂閱服務 | 3 | 3 | 0 | 100.0% | 1.00 |
| iCheers | 6 | 3 | 3 | 50.0% | 0.50 |
| 技術支援 | 4 | 4 | 0 | 100.0% | 1.00 |
| 學術傳播 | 3 | 3 | 0 | 100.0% | 0.92 |
| 學術統計 | 3 | 3 | 0 | 100.0% | 0.93 |
| TSSCI/THCI | 3 | 3 | 0 | 100.0% | 1.00 |
| 碩博士論文 | 3 | 3 | 0 | 100.0% | 1.00 |
| 會議論文 | 2 | 2 | 0 | 100.0% | 1.00 |
| 資料安全 | 2 | 2 | 0 | 100.0% | 1.00 |
| 合作夥伴 | 2 | 2 | 0 | 100.0% | 0.95 |
| ESG | 1 | 1 | 0 | 100.0% | 0.70 |
| 開放取用 | 2 | 2 | 0 | 100.0% | 1.00 |
| 人才招募 | 2 | 1 | 1 | 50.0% | 0.68 |
| 文獻引用 | 2 | 2 | 0 | 100.0% | 1.00 |
| 批量服務 | 2 | 2 | 0 | 100.0% | 1.00 |
| API服務 | 1 | 1 | 0 | 100.0% | 1.00 |
| 問題回報 | 2 | 1 | 1 | 50.0% | 0.50 |
| 新功能 | 2 | 1 | 1 | 50.0% | 0.78 |
| DOI進階 | 2 | 2 | 0 | 100.0% | 0.98 |
| 使用統計 | 2 | 2 | 0 | 100.0% | 1.00 |
| 多媒體 | 1 | 1 | 0 | 100.0% | 1.00 |
| 列印服務 | 1 | 1 | 0 | 100.0% | 1.00 |
| 離線閱讀 | 1 | 1 | 0 | 100.0% | 1.00 |
| 帳號管理 | 2 | 2 | 0 | 100.0% | 1.00 |
| 語言支援 | 1 | 1 | 0 | 100.0% | 1.00 |
| 工具 | 使用次數 |
|---|---|
| search_airiti_faq | 83 |
| search_airiti_web | 14 |