খরচ আর পারফরম্যান্স অপ্টিমাইজেশন

তুমি একটা customer-support system-এর router। প্রতিটা request যায় SMALL model-এ (cost 1 credit) অথবা LARGE model-এ (cost 20 credit)। সহজ request-এ SMALL ব্যবহার করো। যে request-এ লম্বা চিন্তা, code, বা অনেক ধাপ লাগে, তাতে LARGE ব্যবহার করো।
প্রতিটা request-এর জন্য লেখো: নম্বর, SMALL বা LARGE, আর সর্বোচ্চ ৬ শব্দের একটা কারণ।

Requests:
1. আপনাদের return করার সময়সীমা কত দিন?
2. আমার order #4471 কোথায়?
3. Bangla-তে "thank you" এর মানে কী?
4. আমার দুটো order একটা parcel-এ এসেছে। একটা জিনিস নষ্ট। আমি একটা coupon ব্যবহার করেছি, যেটা দুই order-এ refund ভাগ করে দিয়েছে। আমি কত টাকা ফেরত পাব?
5. Password reset করব কীভাবে?
6. তিনটা দেশের customer-দের জন্য আমাদের refund policy বদলালে আইনি ঝুঁকিগুলো সংক্ষেপে লেখো।
7. আপনাদের ফোন নম্বর কত?
8. এমন একটা Python script লেখো, যেটা আমাদের payment file-এর সাথে bank statement মেলায় আর যেগুলো মেলে না সেগুলো চিহ্নিত করে।
9. নীল শার্টটা কি M size-এ stock-এ আছে?
10. Checkout redesign-এর পর আমাদের conversion rate 12% কমল কেন? ব্যাখ্যা করো আর তিনটা test প্রস্তাব করো।

একটা small model একটা draft উত্তর লিখেছে। ঠিক করো draft টা পাঠানোর মতো ভালো কিনা (KEEP), নাকি একটা large model-কে আবার করতে হবে (ESCALATE)। শুধু KEEP বা ESCALATE লেখো, সাথে এক বাক্যে কারণ।

প্রশ্ন: একজন customer 3টা শার্ট কিনেছে, প্রতিটা 450 BDT, আর 1টা টুপি 280 BDT। পুরো order-এ 10% coupon প্রযোজ্য। Delivery খরচ 60 BDT, এতে ছাড় নেই। মোট কত?

Draft উত্তর: শার্টগুলোর দাম 1,350 BDT আর টুপির দাম 280 BDT। Subtotal 1,630 BDT। 10% coupon-এর পর দাম 1,467 BDT। Delivery 60 BDT, তাই মোট 1,527 BDT।

Semantic cache পুরোনো প্রশ্নের উত্তর জমিয়ে রাখে। নতুন প্রশ্ন পুরোনো প্রশ্নের খুব কাছাকাছি দেখালে সে জমানো উত্তরটাই ফেরত দেয়।
প্রতিটা জোড়ার জন্য লেখো: 0 থেকে 1-এর মধ্যে একটা similarity score (তোমার সেরা অনুমান), HIT বা MISS (score 0.9-এর বেশি হলে HIT), আর পুরোনো উত্তরটা নতুন প্রশ্নের জন্য CORRECT হবে নাকি WRONG।
প্রতিটা জোড়ার জন্য ছোট এক লাইনে উত্তর দাও।

জোড়া (পুরোনো প্রশ্ন | নতুন প্রশ্ন):
1. আমি আমার password reset করব কীভাবে? | আমি কীভাবে আমার password reset করতে পারি?
2. Order 1001-এর refund-এর অবস্থা কী? | Order 1002-এর refund-এর অবস্থা কী?
3. আপনাদের return policy কী? | জিনিস ফেরত পাঠাতে আমার কত সময় আছে?
4. আজ ঢাকার আবহাওয়া কেমন? | কাল ঢাকার আবহাওয়া কেমন?
5. আমার subscription cancel করুন। | আমার subscription cancel করবেন না।
6. রাতে আপনারা কয়টায় বন্ধ করেন? | সন্ধ্যায় আপনারা কখন দোকান বন্ধ করেন?

আমি একটা support chatbot-এর জন্য semantic cache চালাই। আমাকে 4টা ছোট নিয়ম দাও, যেগুলো ঠিক করে কখন cache-এর উত্তর ব্যবহার করা যাবে না, similarity score খুব বেশি হলেও। প্রতিটা নিয়মের জন্য একটা করে উদাহরণ প্রশ্ন-জোড়া দাও। প্রতিটা নিয়ম এক বাক্যে লেখো।

শুধু context ব্যবহার করে তিনটা প্রশ্নের উত্তর দাও।

Context:
Padma Mart বেছে নেওয়ার জন্য ধন্যবাদ। আমাদের shipping policy নিয়ে জানাতে পেরে আমরা খুব খুশি। সাধারণভাবে, কাজের দিনে দুপুর 2টার আগে দেওয়া order সাধারণত সেদিনই packing হয়, আর দুপুর 2টার পরে দেওয়া order সাধারণত পরের কাজের দিনে packing হয়। দয়া করে মনে রাখবেন, আমরা শুক্রবার আর সরকারি ছুটির দিনে কাজ করি না। ঢাকার ভেতরে delivery সাধারণত এক থেকে দুই দিন লাগে, আর অন্য শহরে সাধারণত তিন থেকে পাঁচ দিন লাগে। ঢাকার ভেতরে shipping খরচ 60 BDT, আর অন্য শহরে shipping খরচ 120 BDT। আমরা আরও জানাতে পেরে খুশি যে 2,000 BDT-র বেশি order-এ শুধু ঢাকার ভেতরে shipping ফ্রি। আপনি বাসায় না থাকলে আমাদের courier parcel দুইবার পৌঁছে দেওয়ার চেষ্টা করবে, আর দ্বিতীয়বার ব্যর্থ হলে parcel আমাদের warehouse-এ ফিরে আসে। আমাদের সাথে কেনাকাটা উপভোগ করবেন, এই আশা করি!

প্রশ্ন:
1. 1,500 BDT-র একটা order চট্টগ্রামে পাঠাতে shipping কত?
2. বৃহস্পতিবার বিকেল 3টায় দেওয়া order কবে packing হয়?
3. Courier কয়বার delivery-র চেষ্টা করে?

নিচের লেখাটা তার দৈর্ঘ্যের প্রায় এক-তৃতীয়াংশে ছোট করো। ফাঁকা শব্দ আর শুভেচ্ছা বাদ দাও। প্রতিটা সংখ্যা, দাম, সময় আর নিয়ম রাখো। ছোট note-এর মতো বাক্যাংশ ব্যবহার করো। শুধু ছোট করা লেখাটা পাঠাও।

লেখা:
Padma Mart বেছে নেওয়ার জন্য ধন্যবাদ। আমাদের shipping policy নিয়ে জানাতে পেরে আমরা খুব খুশি। সাধারণভাবে, কাজের দিনে দুপুর 2টার আগে দেওয়া order সাধারণত সেদিনই packing হয়, আর দুপুর 2টার পরে দেওয়া order সাধারণত পরের কাজের দিনে packing হয়। দয়া করে মনে রাখবেন, আমরা শুক্রবার আর সরকারি ছুটির দিনে কাজ করি না। ঢাকার ভেতরে delivery সাধারণত এক থেকে দুই দিন লাগে, আর অন্য শহরে সাধারণত তিন থেকে পাঁচ দিন লাগে। ঢাকার ভেতরে shipping খরচ 60 BDT, আর অন্য শহরে shipping খরচ 120 BDT। আমরা আরও জানাতে পেরে খুশি যে 2,000 BDT-র বেশি order-এ শুধু ঢাকার ভেতরে shipping ফ্রি। আপনি বাসায় না থাকলে আমাদের courier parcel দুইবার পৌঁছে দেওয়ার চেষ্টা করবে, আর দ্বিতীয়বার ব্যর্থ হলে parcel আমাদের warehouse-এ ফিরে আসে। আমাদের সাথে কেনাকাটা উপভোগ করবেন, এই আশা করি!

শুধু context ব্যবহার করে তিনটা প্রশ্নের উত্তর দাও।

Context:
এখানে তোমার ছোট করা লেখা paste করো

প্রশ্ন:
1. 1,500 BDT-র একটা order চট্টগ্রামে পাঠাতে shipping কত?
2. বৃহস্পতিবার বিকেল 3টায় দেওয়া order কবে packing হয়?
3. Courier কয়বার delivery-র চেষ্টা করে?

একটা company প্রতিটা LLM feature-কে মাসিক token budget দেয়। নিয়ম: budget-এর 80% হলে alert পাঠানো হবে, আর 100% হলে feature-টা throttle করা হবে (ধীর বা বন্ধ করা হবে)।
আজ 30 দিনের একটা মাসের 12 নম্বর দিনের শেষ। ধরে নাও প্রতিদিনের ব্যবহার একই থাকবে।

Feature | মাসিক budget | এ পর্যন্ত ব্যবহার (12 দিন)
Chat support | 40,000,000 token | 20,000,000 token
Document summary | 20,000,000 token | 4,000,000 token
Search rewrite | 6,000,000 token | 3,600,000 token

একটা table বানাও। প্রতিটা feature-এর জন্য দেখাও:
1) প্রতিদিন কত token ব্যবহার হয়।
2) মাসের শেষে কত ব্যবহার হবে, budget-এর শতাংশে।
3) মাসের কত তারিখে 80% হবে।
4) মাসের কত তারিখে 100% হবে।
Feature যদি limit-এর নিচেই থাকে, তাহলে "never" লেখো।

কোন feature-এ সবার আগে ব্যবস্থা নিতে হবে? তার ব্যবহার কমানোর দুটো সস্তা উপায় বলো। 3টা ছোট লাইনে উত্তর দাও।