মূল লেখায় যান
পার্ট ১ ১১ মিনিট পড়া

LLM-এর মূল ভিত্তি

একজন ইঞ্জিনিয়ারের চোখে

বাস্তবে LLM কীভাবে কাজ করে, তা শিখবেন: টোকেন, মডেল ফ্যামিলি, স্যাম্পলিং, স্ট্রাকচার্ড আউটপুট, টুল ইউজ, এমবেডিং, রিজনিং, আর প্রোডাকশনের জন্য সঠিক মডেল বেছে নেওয়া।

কুইজে যান
এই পাতায়

সেকশন ১ / ১০

টোকেন, টোকেনাইজেশন আর কনটেক্সটের খরচ

মডেল যা কিছু করে — অ্যাটেনশন, জেনারেশন, খরচ — সবকিছুর হিসাব হয় টোকেন দিয়ে, অক্ষর বা শব্দ দিয়ে নয়। আপনার প্রম্পট যদি ৮০০ টোকেন থেকে কমে ২০০ টোকেন হয়, তাহলে খরচ কমল ৭৫%, আর ল্যাটেন্সিও উল্লেখযোগ্যভাবে কমল। আপনার হাতে থাকা সবচেয়ে বড় ইঞ্জিনিয়ারিং সুবিধা এটাই।

অনুশীলন · ১টি টাস্ক

যেকোনো ফ্রি AI চ্যাট খুলুন: ChatGPT · Claude · Gemini

অনুশীলন কীভাবে করবেন
  • নতুন চ্যাট মানে একদম নতুন কথোপকথন, আগের কোনো হিস্ট্রি নেই। ChatGPT, Claude বা Gemini-তে New chat-এ ক্লিক করুন। সাধারণত এটা উপরে বাঁ দিকে থাকে।
  • একই চ্যাট মানে: যে চ্যাট খোলা আছে, সেখানেই লিখতে থাকুন। আগে যা পাঠিয়েছেন, AI তা মনে রাখে।
  • প্রম্পট ব্যবহার করতে: কপি-তে ক্লিক করুন, চ্যাটের মেসেজ বক্সে ক্লিক করুন, পেস্ট করুন (Ctrl+V, বা ফোনে চেপে ধরে রাখুন), তারপর Enter চাপুন।
  • AI-এর উত্তর প্রতিবার একটু আলাদা হয়। আপনার উত্তর উদাহরণের সাথে হুবহু মিলতে হবে না। একই ধারণা আছে কি না, সেটা দেখুন।
  • শুধু বানানো ডেটা ব্যবহার করুন। নিজের বা অন্যের ব্যক্তিগত তথ্য চ্যাটে পেস্ট করবেন না।

টাস্ক ১

প্রম্পট ছোট করুন, উত্তর একই রাখুন

এটা কেন দরকার

একটা সাপোর্ট বট যখন মাসে লাখ লাখ টিকেট পড়ে, প্রম্পটের প্রতিটা বাড়তি শব্দের দাম প্রতি কলে আবার দিতে হয়। ছোট প্রম্পট দিয়ে সত্যিকারের টাকা বাঁচানো যায়।

  1. ধাপ ১
    নতুন চ্যাট

    এই লম্বা প্রম্পটটা কপি করুন, পেস্ট করে Enter চাপুন। উত্তরটা লিখে রাখুন। (প্রম্পটটা English-এ রাখা হয়েছে, কারণ এখানে English শব্দের দৈর্ঘ্য তুলনা হচ্ছে।)

    প্রম্পট
    Hello! I hope you are having a wonderful day. I am working on a customer support system and I would really appreciate your kind help with a small task. Below you will find a customer ticket. Could you please read the ticket very carefully and then tell me which one of the following categories it belongs to? The categories are: billing, shipping, defect, account. Please choose only one category. When you answer, please do not write any explanation, any greeting, or any extra sentence. Just write the single category word. Thank you so much for your help!
    
    Ticket: My order #48213 arrived yesterday and the screen is cracked. I want my money back.

    আপনি দেখবেন: একটা শব্দ, সম্ভবত defect।

    উদাহরণ উত্তর
    defect

    আপনার উত্তরের ভাষা একটু আলাদা হবে।

  2. ধাপ ২
    নতুন চ্যাট

    এই ছোট প্রম্পটটা কপি করুন, পেস্ট করে Enter চাপুন। উত্তরটা লিখে রাখুন।

    প্রম্পট
    Classify the ticket as one of: billing, shipping, defect, account. Reply with the category only.
    
    Ticket: My order #48213 arrived yesterday and the screen is cracked. I want my money back.

    আপনি দেখবেন: একই শব্দ, defect, অথচ প্রম্পটটা ৩ গুণের বেশি ছোট।

    উদাহরণ উত্তর
    defect

    আপনার উত্তরের ভাষা একটু আলাদা হবে।

  3. ধাপ ৩
    নতুন চ্যাট

    এই প্রম্পটটা কপি করুন, পেস্ট করে Enter চাপুন। ক্যালকুলেটর দিয়ে সংখ্যাগুলো মিলিয়ে নিন।

    প্রম্পট
    একটা support bot প্রতি call-এ 800 input token পাঠায়। একটা ছোট prompt প্রতি call-এ পাঠায় 200 input token। দাম প্রতি 1 million input token-এ $0.50। bot মাসে 2 million বার call করে। দুই prompt-এর মাসিক input cost আলাদা করে বের করো, আর কত শতাংশ সাশ্রয় হলো তাও বলো। প্রতিটা ধাপ দেখাও।

    আপনি দেখবেন: লম্বা প্রম্পটের জন্য মাসে $৮০০, ছোটটার জন্য $২০০, আর ৭৫% সাশ্রয়।

    উদাহরণ উত্তর
    লম্বা prompt: 800 token x 2,000,000 call = 1,600,000,000 token (1,600 million)। 1,600 x $0.50 = মাসে $800।
    ছোট prompt: 200 token x 2,000,000 call = 400,000,000 token (400 million)। 400 x $0.50 = মাসে $200।
    সাশ্রয়: $800 - $200 = মাসে $600।
    শতাংশ: $600 / $800 = 75%।

    আপনার উত্তরের ভাষা একটু আলাদা হবে।

এইমাত্র কী হলো

AI আপনার লেখা পড়ে টোকেন হিসেবে (শব্দের ছোট ছোট অংশ)। আপনি যত টোকেন পাঠান, প্রতি কলে তত টোকেনের দাম দিতে হয়। লম্বা প্রম্পটের ভদ্রতার বাড়তি শব্দগুলো উত্তর বদলায়নি, কিন্তু সেগুলো বাড়তি টোকেন ছিল। মাসে ২ million কল হলে প্রতি কলে ৬০০ টোকেন কম মানে মাসে $৬০০ সাশ্রয়।

কাজ শেষ, যখন দুটো প্রম্পট থেকেই একই এক শব্দের উত্তর পেয়েছেন, আর আপনার কাছে $৮০০, $২০০ আর ৭৫% সংখ্যাগুলো আছে।

নিজেকে যাচাই করুনউত্তর একই থাকলে প্রম্পট ছোট করলে টাকা বাঁচে কেন?উত্তর দেখুন

API প্রতি টোকেনের হিসেবে টাকা নেয়, আর মডেল প্রতি কলে সব ইনপুট টোকেন পড়ে। ৭৫% কম টোকেনের প্রম্পটে ইনপুটের খরচও ৭৫% কম, আর পড়ার কাজ কম বলে উত্তরও দ্রুত আসতে পারে।

আরেকটু কঠিন করে দেখুন

ছোট প্রম্পটটা আরও ছোট করুন, কিন্তু উত্তর যেন না বদলায়। তারপর AI-কে জিজ্ঞেস করুন: একই বাক্য কি Bangla-তে English-এর চেয়ে বেশি token নেয়?

ভিডিও দেখুন · ৪টি