ইভ্যালুয়েশন ইঞ্জিনিয়ারিং (মডেল মাপার কাজ)

তুমি একজন support ticket classifier। প্রতিটা ticket-কে ঠিক একটা label দাও: BILLING, BUG, ACCOUNT, বা OTHER।
একটা numbered list-এ উত্তর দাও। শুধু নম্বর আর label লেখো।

Tickets:
1. March-এর plan-এর জন্য আমার কাছ থেকে দুইবার টাকা কাটা হয়েছে।
2. Firefox-এ export বাটন চাপলে একটা ফাঁকা পাতা দেখায়।
3. আমি password ভুলে গেছি, তাই login করতে পারছি না।
4. ঢাকায় কি আপনাদের কোনো অফিস আছে?
5. আমার invoice-এ কোম্পানির নাম ভুল এসেছে।
6. 10 MB-এর চেয়ে বড় file upload করলে app crash করে।
7. আমার profile-এর email address টা বদলে দিন।
8. নতুন dashboard টা আমার খুব ভালো লেগেছে!
9. টাকা দেওয়ার পরও confirmation email আসেনি।

তুমি একজন support ticket classifier। প্রতিটা ticket-কে ঠিক একটা label দাও: BILLING, BUG, ACCOUNT, বা OTHER।
নিয়ম: কোনো ticket-এ email-এর কথা থাকলে সবসময় BUG লেখো, কারণ email-এর সমস্যা সাধারণত delivery bug।
একটা numbered list-এ উত্তর দাও। শুধু নম্বর আর label লেখো।

Tickets:
1. March-এর plan-এর জন্য আমার কাছ থেকে দুইবার টাকা কাটা হয়েছে।
2. Firefox-এ export বাটন চাপলে একটা ফাঁকা পাতা দেখায়।
3. আমি password ভুলে গেছি, তাই login করতে পারছি না।
4. ঢাকায় কি আপনাদের কোনো অফিস আছে?
5. আমার invoice-এ কোম্পানির নাম ভুল এসেছে।
6. 10 MB-এর চেয়ে বড় file upload করলে app crash করে।
7. আমার profile-এর email address টা বদলে দিন।
8. নতুন dashboard টা আমার খুব ভালো লেগেছে!
9. টাকা দেওয়ার পরও confirmation email আসেনি।

তুমি একজন judge। একজন beginner জিজ্ঞেস করেছে: "API key কী?"
দুটো উত্তর তুলনা করো। বলো কোনটা ভালো, Answer 1 নাকি Answer 2, আর দুই বাক্যে কারণ লেখো।

Answer 1:
API key হলো একটা গোপন string, যেটা একটা program প্রতিটা request-এর সাথে পাঠায়। Service এটা দিয়ে বোঝে কে request করছে, আর limit ও billing ঠিক করে। এটা private রাখো, আর কখনো public code-এ রেখো না।

Answer 2:
দারুণ প্রশ্ন! API key হলো একটা অবিশ্বাস্য শক্তিশালী ও বহুমুখী credential, যা আধুনিক software engineering-এর জন্য মৌলিকভাবে অপরিহার্য। এটা ঠিক team-এর shared password-এর মতো, তাই সবাই যাতে সহজে login করতে পারে সেজন্য এটা group chat-এ সব teammate-কে পাঠিয়ে দেওয়া উচিত। এটা তোমার application-কে সম্ভাব্য সব দিক থেকে আরও দ্রুত আর নিরাপদ করে।

তুমি একজন judge। একজন beginner জিজ্ঞেস করেছে: "API key কী?"
দুটো উত্তর তুলনা করো। বলো কোনটা ভালো, Answer 1 নাকি Answer 2, আর দুই বাক্যে কারণ লেখো।

Answer 1:
দারুণ প্রশ্ন! API key হলো একটা অবিশ্বাস্য শক্তিশালী ও বহুমুখী credential, যা আধুনিক software engineering-এর জন্য মৌলিকভাবে অপরিহার্য। এটা ঠিক team-এর shared password-এর মতো, তাই সবাই যাতে সহজে login করতে পারে সেজন্য এটা group chat-এ সব teammate-কে পাঠিয়ে দেওয়া উচিত। এটা তোমার application-কে সম্ভাব্য সব দিক থেকে আরও দ্রুত আর নিরাপদ করে।

Answer 2:
API key হলো একটা গোপন string, যেটা একটা program প্রতিটা request-এর সাথে পাঠায়। Service এটা দিয়ে বোঝে কে request করছে, আর limit ও billing ঠিক করে। এটা private রাখো, আর কখনো public code-এ রেখো না।

তুমি একজন judge। একজন beginner জিজ্ঞেস করেছে: "API key কী?"
নিচের উত্তরটাকে প্রতিটা criterion-এ 0 থেকে 5 নম্বর দাও। প্রতিটা নম্বরের জন্য একটা ছোট কারণ লেখো।
Criteria: 1) তথ্য কতটা ঠিক (Factual accuracy), 2) Beginner-এর জন্য কতটা পরিষ্কার (Clarity), 3) নিরাপদ পরামর্শ (Safe advice), 4) সংক্ষিপ্ততা (Conciseness)।
শেষে 20-এর মধ্যে মোট নম্বর লেখো।

Answer:
দারুণ প্রশ্ন! API key হলো একটা অবিশ্বাস্য শক্তিশালী ও বহুমুখী credential, যা আধুনিক software engineering-এর জন্য মৌলিকভাবে অপরিহার্য। এটা ঠিক team-এর shared password-এর মতো, তাই সবাই যাতে সহজে login করতে পারে সেজন্য এটা group chat-এ সব teammate-কে পাঠিয়ে দেওয়া উচিত। এটা তোমার application-কে সম্ভাব্য সব দিক থেকে আরও দ্রুত আর নিরাপদ করে।

তুমি একজন RAG evaluator। System-কে চারটা metric-এ 0 থেকে 1-এর মধ্যে নম্বর দাও, প্রতিটার জন্য এক বাক্যে কারণ লেখো:
1) Faithfulness: উত্তর কি শুধু retrieved chunk-এর তথ্য ব্যবহার করেছে?
2) Answer relevance: উত্তর কি প্রশ্নের জবাব দিয়েছে?
3) Context precision: Retrieved chunk-গুলোর বেশিরভাগ কি প্রাসঙ্গিক?
4) Context recall: পুরো উত্তরের জন্য যা যা দরকার, chunk-গুলোতে কি তার সবটা আছে? (পুরো উত্তরের জন্য দরকারি তথ্য Ground truth-এ দেওয়া আছে।)

প্রশ্ন: আমি কি ব্যবহার না করা ছুটির দিন পরের বছরে নিয়ে যেতে পারি? কয়দিন পারি? বাকিগুলোর কী হয়?

Retrieved chunks:
[1] কর্মীরা ব্যবহার না করা সর্বোচ্চ 5 দিনের annual leave পরের ক্যালেন্ডার বছরে নিয়ে যেতে পারবেন। নিয়ে যাওয়া দিনগুলো 31 মার্চ শেষ হয়ে যায়।
[2] অফিসের canteen কাজের দিনে সকাল 8:00 থেকে বিকেল 16:00 পর্যন্ত খোলা থাকে।
[3] Sick leave পরের বছরে নিয়ে যাওয়া যায় না।

Answer: হ্যাঁ। তুমি সর্বোচ্চ 10 দিন 31 মার্চ পর্যন্ত নিয়ে যেতে পারো। বছরের শেষে HR বাকি দিনগুলোর টাকা নগদে দিয়ে দেয়।

Ground truth: সর্বোচ্চ 5 দিন 31 মার্চ পর্যন্ত নিয়ে যাওয়া যায়। সীমার বাইরের দিনগুলো বাতিল হয়ে যায়, আর নগদ টাকা দেওয়া হয় না।

উত্তরের কোন কোন অংশ chunk-গুলো দিয়ে সমর্থিত নয়? ঠিক শব্দগুলো বলো।

চারটা score-এর মধ্যে কোনগুলো খোঁজার ধাপের (retriever) সমস্যা দেখায়, আর কোনগুলো লেখার ধাপের (generator) সমস্যা দেখায়?

তুমি একজন agent evaluator। নিচে একটা task আর একটা agent run-এর log আছে। Run টাকে এই চার দিক থেকে নম্বর দাও:
1) Task success (yes/no): শেষ ফলাফল কি ঠিক?
2) Tool-call accuracy: প্রতিটা tool call-এর argument কি ঠিক ছিল?
3) Trajectory: Agent কি যুক্তিসঙ্গত পথে গেছে?
4) Step efficiency: কতগুলো step ব্যবহার হয়েছে, আর কমপক্ষে কয়টা লাগত?
শেষে ছোট একটা verdict দাও।

Task: Book the cheapest flight from Dhaka (DAC) to Chattogram (CGP) on 12 Nov 2026. The budget is 5000 BDT.

Tools: search_flights(from, to, date), book_flight(flight_id)

Agent log:
Step 1: search_flights(from="DAC", to="CGP", date="2026-11-12") -> F1: 5200 BDT, F2: 4800 BDT, F3: 4300 BDT
Step 2: search_flights(from="DAC", to="CGP", date="2026-11-12") -> F1: 5200 BDT, F2: 4800 BDT, F3: 4300 BDT
Step 3: search_flights(from="DAC", to="CGP", date="2026-12-11") -> F4: 4100 BDT, F5: 4600 BDT
Step 4: book_flight(flight_id="F2") -> Booked F2 for 12 Nov 2026
Final answer: I booked the cheapest flight under your budget.

এই task-এর জন্য সবচেয়ে ছোট ঠিক log টা লেখো। এতে কয়টা step?