技術簡介
Technology Description

提供語言模型與 AI Agent 的多面向測試與評測,透過標準化測項與客觀指標,分析模型的台灣價值觀與任務執行能力。以第三方專業測試服務為核心,整合評測標準、測試方法與題庫資源,提供具公信力、可驗證及可追溯的 AI 評測服務。依循 ISO/IEC 17025 評測流程,提供自動化測試、向度分析與完整評測報告。

Provides comprehensive testing and evaluation for language models and AI agents, utilizing standardized test cases and objective metrics to analyze the models' alignment with Taiwanese values and their task execution capabilities. Centered on third-party professional testing services, integrating benchmark standards, methodologies, and test sets to deliver credible, verifiable, and traceable AI evaluation services following ISO/IEC 17025.

技術規格
Specifications
  • 評測對象:語言模型 (LLM)、AI Agent
  • 六大評測構面:準確、可靠、公平、隱私、資安與任務執行
  • 依循 ISO/IEC 17025 實驗室管理體系與評測流程
  • 測試資源:標準化評測指標、測試方法及專業題庫
  • 評測方式:自動化測試與標準化評分
  • 結果分析:模型向度分析、分數統計與模型比較
  • 報告輸出:客觀測試結果與第三方評測報告
第三方 AI 評測流程與六大評測構面 (依循 ISO/IEC 17025)
第三方 AI 評測流程與六大評測構面 (依循 ISO/IEC 17025)
應用範圍
Applications
  1. 大型語言模型 (LLM) 效能與可信度評測
  2. AI Agent 任務執行能力與安全性驗證
  3. 企業 AI 應用落地前之合規與風險評估
  4. 具公信力、可驗證及可追溯之第三方評測報告
圖片30
圖片29
圖片27