কনটেক্সট ইঞ্জিনিয়ারিংয়ের কৌশল

একটা chat app-এর context window 8,000 token।
নির্দিষ্ট খরচ:
- System prompt: 1,500 token
- Tool definition: 2,000 token
- ব্যবহারকারীর বর্তমান message: 300 token
- উত্তরের জন্য আলাদা করে রাখা: 1,000 token
টিম আরও যোগ করতে চায়:
- Chat history: 2,500 token
- Retrieved chunk (search করে পাওয়া document-এর ছোট ছোট অংশ): 6টা chunk, প্রতিটা 700 token

কাজ:
1. প্রতিটা item আর মোট সংখ্যা দিয়ে একটা table বানাও।
2. Plan-টা window-তে আঁটে কি না বলো। কত token বেশি বা কম, সেটাও বলো।
3. History 2,500 token-ই থাকলে 700 token-এর কয়টা chunk আঁটে?
তোমার হিসাব দেখাও।

এবার 8,000 token-এ আঁটে এমন একটা plan বানাও। নিয়ম: উত্তরের জন্য 1,000 token আলাদা রাখো, 700 token-এর 3টা chunk রাখো, আর এখন শুধু 1,000 token-এর tool definition load করো (বাকিগুলো পরে, দরকার হলে load হবে)। System prompt (1,500) আর বর্তমান message (300) রাখো। History summary করে ছোট করো। একটা নতুন table দাও: সবচেয়ে বড় কত token-এর history আঁটে, আর কত token বাকি থাকে।

এই কথোপকথনটা 2টা বাক্যে summary করো।

User: আমি আমার ছেলের জন্য একটা laptop কিনতে চাই। সে চট্টগ্রামে computer science পড়ে।
Assistant: আপনার budget কত?
User: সর্বোচ্চ 85,000 tk। আমি bKash-এ টাকা দেব, তাই দোকানকে bKash নিতে হবে।
Assistant: নতুন laptop চান, না পুরনো?
User: শুধু নতুন। পুরনোগুলো নিয়ে আগে সমস্যা হয়েছে।
Assistant: বড় screen লাগবে?
User: না। সে রোজ সঙ্গে নিয়ে যায়। 1.6 kg-র চেয়ে হালকা চাই।
Assistant: আমি 16 GB RAM আর 512 GB SSD সুপারিশ করি।
User: ঠিক আছে, 16 GB RAM। 512 GB নিয়ে আমি নিশ্চিত না। পরে আবার জিজ্ঞেস করবেন।
Assistant: ঠিক আছে। আমি আগ্রাবাদের দোকানগুলো দেখে আপনাকে একটা list পাঠাব।
User: ভালো। শুক্রবার বিকাল 5টার পরে আমাকে ফোন করবেন। আমার নম্বর 01700-000000।

এই কথোপকথনটা JSON আকারে summary করো। ঠিক এই key গুলো ব্যবহার করো: user_goal (এক বাক্য), decisions_made (list), open_questions (list), key_facts_learned (list), entities (নাম, id, সংখ্যার list), user_preferences (list), tool_results_to_remember (list)। সঠিক সংখ্যা রাখো। নতুন কোনো তথ্য যোগ কোরো না।

User: আমি আমার ছেলের জন্য একটা laptop কিনতে চাই। সে চট্টগ্রামে computer science পড়ে।
Assistant: আপনার budget কত?
User: সর্বোচ্চ 85,000 tk। আমি bKash-এ টাকা দেব, তাই দোকানকে bKash নিতে হবে।
Assistant: নতুন laptop চান, না পুরনো?
User: শুধু নতুন। পুরনোগুলো নিয়ে আগে সমস্যা হয়েছে।
Assistant: বড় screen লাগবে?
User: না। সে রোজ সঙ্গে নিয়ে যায়। 1.6 kg-র চেয়ে হালকা চাই।
Assistant: আমি 16 GB RAM আর 512 GB SSD সুপারিশ করি।
User: ঠিক আছে, 16 GB RAM। 512 GB নিয়ে আমি নিশ্চিত না। পরে আবার জিজ্ঞেস করবেন।
Assistant: ঠিক আছে। আমি আগ্রাবাদের দোকানগুলো দেখে আপনাকে একটা list পাঠাব।
User: ভালো। শুক্রবার বিকাল 5টার পরে আমাকে ফোন করবেন। আমার নম্বর 01700-000000।

Prefix caching-এর নিয়ম: cache শুধু prompt-এর উপর থেকে একই রকম লাইনের সবচেয়ে লম্বা ধারাকে ঢাকে। যে লাইনটা প্রথম আলাদা হয়, আর তার পরের সব লাইন, cache miss (পুরো দাম)। Cache করা token-এর দাম 0.1 unit। Cache না করা token-এর দাম 1 unit।

Layout X। Request 1 আর Request 2-এর লাইন একই, শুধু CHANGES লেখা লাইনগুলো বদলায়:
Line 1: বর্তমান সময় (15 token) - প্রতি request-এ CHANGES
Line 2: System rules (1,800 token)
Line 3: Tool schemas (2,200 token)
Line 4: ব্যবহারকারীর প্রশ্ন (100 token) - প্রতি request-এ CHANGES

Layout Y। একই নিয়ম:
Line 1: System rules (1,800 token)
Line 2: Tool schemas (2,200 token)
Line 3: বর্তমান সময় (15 token) - প্রতি request-এ CHANGES
Line 4: ব্যবহারকারীর প্রশ্ন (100 token) - প্রতি request-এ CHANGES

প্রতিটা layout-এর Request 2-এর জন্য একটা table দাও: cached token, uncached token, আর unit-এ খরচ। তারপর বলো কোন layout সস্তা, আর প্রায় কত শতাংশ।

এখন একজন developer Layout Y-এর System rules-এর ভেতরে একটা typo ঠিক করল। এটা Request 1 আর Request 2-এর মাঝখানে হয়, আর 1টা অক্ষর বদলায়। এখন Request 2-এর cached token, uncached token আর খরচ কত? 2 বাক্যে ব্যাখ্যা করো।

একটা AI support agent-এর পাঁচটা memory-র জায়গা আছে:
- Working memory: বর্তমান prompt
- Short-term: এই chat session, session store-এ রাখা
- Long-term: user-এর তথ্য, database-এ রাখা
- Episodic: আগের session থেকে পাওয়া শিক্ষা
- External: document আর database, শুধু দরকারের সময় পড়া হয়

নিচের প্রতিটা item-এর জন্য একটা জায়গা বেছে নাও, কোথায় store হয় বলো, আর কখন update হয় বলো:
1. ব্যবহারকারীর বর্তমান প্রশ্ন: "আমার router-এর আলো লাল।"
2. এই chat-এর শেষ ৬টা turn।
3. ব্যবহারকারী বাংলায় উত্তর পছন্দ করে।
4. PDF আকারে ৪০ পৃষ্ঠার একটা router manual।
5. গত সপ্তাহের শিক্ষা: "ছবিসহ ধাপে ধাপে উত্তর দিলে এই user-এর সমস্যা তাড়াতাড়ি মিটেছে।"
6. ২ turn আগের একটা tool call-এর ফল: line status = up।
7. ব্যবহারকারীর নাম আর শহর।
8. কোম্পানির দামের database।
উত্তর একটা table-এ দাও। যে item দুই জায়গায় মানায়, সেটা চিহ্নিত করো।

তুমি একটা রান্নার assistant-এর memory manager। আজকের তারিখ 2026-06-01।
Store করা memory:
M1 (সংরক্ষণ 2025-01-10, confidence 0.9): ব্যবহারকারী নিরামিষভোজী।
M2 (সংরক্ষণ 2025-02-02, confidence 0.9): ব্যবহারকারী সিলেটে থাকে।
ব্যবহারকারীর নতুন message: "কাল আমার বন্ধুদের জন্য একটা রাতের খাবারের plan করো। আমি গত মাসে মাছ খাওয়া শুরু করেছি, আর এপ্রিলে ঢাকায় চলে এসেছি।"

M1 আর M2-এর জন্য বেছে নাও: রাখো, update করো, নাকি user-কে confirm করতে বলো। কারণ লেখো। তারপর তারিখ আর confidence-সহ নতুন memory record লেখো।

প্রশ্ন: ঢাকায় standard delivery-তে কত সময় লাগে?

পাওয়া chunk গুলো:
C1: ঢাকায় standard delivery-তে 2 কার্যদিবস লাগে। বেলা 12:00-এর আগে order করলে express delivery একই দিনে পৌঁছায়।
C2: ঢাকা শহরের ভেতরে standard delivery-তে 2 কার্যদিবস লাগে।
C3: আমাদের অফিস শুক্রবার আর সরকারি ছুটির দিনে বন্ধ থাকে।
C4: ঢাকার বাইরে delivery-তে 4 থেকে 6 কার্যদিবস লাগে।
C5: কোম্পানি 2014 সালে শুরু হয়েছে আর এতে 120 জন কর্মী আছে।
C6: বাক্স সিল করা থাকলে 7 দিনের মধ্যে return নেওয়া হয়।

কাজ:
1. প্রতিটা chunk-কে 0 থেকে 10 পর্যন্ত একটা relevance score দাও।
2. যেসব chunk একই কথা বলে, সেগুলো খোঁজো। তাদের মধ্যে শুধু সেরাটা রাখো।
3. Prompt-এ মাত্র 2টা chunk-এর জায়গা আছে। যেগুলো বাকি আছে, তার মধ্যে সেরা 2টা বেছে নাও।
4. শুধু তোমার বাছা 2টা chunk ব্যবহার করে প্রশ্নের উত্তর দাও।

নিচের paragraph-টা অর্ধেকের চেয়েও ছোট করো। কম তথ্যের শব্দ বাদ দাও। প্রতিটা সংখ্যা, প্রতিটা নাম আর "না"-এর মতো প্রতিটা নেতিবাচক কথা রাখো। তারপর শুধু তোমার ছোট text ব্যবহার করে প্রশ্নের উত্তর দাও।

Paragraph: আপনার order-এর জন্য ধন্যবাদ। আমরা আপনাকে জানাতে চাই যে Basic plan-এর দাম মাসে 500 tk, আর Pro plan-এর দাম মাসে 1,200 tk। আপনি যেকোনো সময় Pro plan বাতিল করতে পারেন, কিন্তু যে মাস শুরু হয়ে গেছে তার জন্য আমরা টাকা ফেরত দিই না। আপনি পুরো এক বছরের টাকা একসঙ্গে দিলে 2 মাস বিনা মূল্যে পাবেন।

প্রশ্ন: Pro plan-এর পুরো এক বছরের দাম কত, আর মাসের মাঝখানে কি টাকা ফেরত পাওয়া যায়?

তুমি একজন support agent। তোমার কাছে search_docs(query, cursor) নামে একটা tool আছে। তুমি search_docs('refund policy') call করেছ। Tool result একটা hard cap দিয়ে কেটে গেছে, আর তুমি শুধু এটুকু পেয়েছ:

{"results": [{"id": "d1", "text": "Monthly plans can be refunded within 14 days of payment."}, {"id": "d2", "text": "Annual plans can be refunded within 3
[...truncated...]

User-এর প্রশ্ন: Annual plan-এ refund চাইতে আমার কত দিন সময় আছে? শুধু tool result থেকে উত্তর দাও। নিশ্চিত না হলে বলো পরে তুমি কী করবে।

তুমি একজন support agent। তোমার কাছে search_docs(query, cursor) নামে একটা tool আছে। তুমি search_docs('refund policy') call করেছ। Tool একটা page ফেরত দিয়েছে:

{"results": [{"id": "d1", "text": "Monthly plans can be refunded within 14 days of payment."}, {"id": "d2", "text": "Annual plans can be refunded within 30 days of payment."}, {"id": "d3", "text": "Refunds go back to the original payment method."}, {"id": "d4", "text": "Gift cards cannot be refunded."}, {"id": "d5", "text": "Refund requests are handled by the billing team."}], "next_cursor": "c_02", "total": 5234}

User-এর প্রশ্ন: Annual plan-এ refund চাইতে আমার কত দিন সময় আছে? শুধু tool result থেকে উত্তর দাও। পরের page লাগলে বলো।

You write short customer emails. Follow ALL rules.

Rules:
1. Write in English.
2. Use a polite tone.
3. Greet the customer by name.
4. Say sorry one time only.
5. Mention the order number.
6. Do not promise a delivery date.
7. Keep the email under 60 words.
8. Never use exclamation marks.
9. The last line of the email must be exactly: Ref: KX-482
10. Do not use emojis.
11. Do not mention other customers.
12. Use plain words.
13. Put the signature 'Support Team' before the Ref line.

Task: Write an email to Mina Akter. Her order #5521 is 2 days late. Offer a 10% discount on her next order.

MOST IMPORTANT RULES: the email has under 60 words, has no exclamation marks, and its last line is exactly: Ref: KX-482

You write short customer emails. Follow ALL rules.

Rules:
1. Write in English.
2. Use a polite tone.
3. Greet the customer by name.
4. Say sorry one time only.
5. Mention the order number.
6. Do not promise a delivery date.
7. Keep the email under 60 words.
8. Never use exclamation marks.
9. The last line of the email must be exactly: Ref: KX-482
10. Do not use emojis.
11. Do not mention other customers.
12. Use plain words.
13. Put the signature 'Support Team' before the Ref line.

Task: Write an email to Mina Akter. Her order #5521 is 2 days late. Offer a 10% discount on her next order.

Before you answer, check again: under 60 words, no exclamation marks, last line exactly 'Ref: KX-482'.