ارزیابی صحت پاسخ عامل هوش مصنوعی با OpenAI و RAGAS

ارزیابی صحت پاسخ عامل هوش مصنوعی با مقایسه پاسخ و داده‌های مرجع، محاسبه F1 و شباهت معنایی، و ثبت امتیاز نهایی در Google Sheets.

توضیحات ورک‌فلو

🤖 این گردش‌کار صحت پاسخ‌های عامل هوش مصنوعی را در مقایسه با پاسخ‌های مرجع ارزیابی می‌کند.

📊 داده‌های آزمون و پاسخ‌های مرجع را از Google Sheets دریافت می‌کند.
🧠 با OpenAI، گزاره‌های پاسخ را به سه گروه TP، FP و FN دسته‌بندی می‌کند.
📐 امتیاز F1 و شباهت معنایی پاسخ و داده‌های مرجع را با embedding و شباهت کسینوسی محاسبه می‌کند.
⚖️ امتیاز نهایی را با ترکیب وزنی ۷۵٪ صحت گزاره‌ای و ۲۵٪ شباهت معنایی به دست می‌آورد.
📝 نتیجه و معیار ارزیابی را در Google Sheets ثبت می‌کند.

فایل ورک‌فلو

پس از باز شدن قفل، فایل قابل دانلود خواهد بود.

قفل 🔒