মূল লেখায় যান
পার্ট ৪ ১৩ মিনিট পড়া

RAG আর নলেজ সিস্টেম

RAG মডেলকে আপনার নিজের ডকুমেন্ট থেকে উত্তর দিতে দেয়। প্রোডাকশনে এটা কীভাবে কাজ করে শিখবেন: চাঙ্কিং, ভেক্টর ডেটাবেস, হাইব্রিড সার্চ, ভালো কুয়েরি, রিরেংকিং, ফিল্টার, ডকুমেন্ট পার্সিং, GraphRAG আর মাল্টিমোডাল রিট্রিভাল।

কুইজে যান
এই পাতায়

সেকশন ১ / ১০

চাঙ্কিং: ফিক্সড, সেম্যান্টিক, স্ট্রাকচারাল আর লেট চাঙ্কিং

রিট্রিভাল কাজ করে ডকুমেন্টের টুকরা নিয়ে, পুরো ডকুমেন্ট নিয়ে নয়। তাই লেখাটা কীভাবে কাটবেন, তার উপরই ঠিক হয় রিট্রিভার কী ফেরত দিতে পারবে। চাঙ্ক বেশি বড় হলে উত্তর বাড়তি লেখার ভিড়ে হারিয়ে যায়। বেশি ছোট হলে বাক্যটির অর্থ যে কনটেক্সট দিয়েছিল, তা চলে যায়। এখানে চার ধরন আছে: ফিক্সড-সাইজ (ওভারল্যাপ আর রিকার্সিভ সেপারেটর-সহ), স্ট্রাকচারাল (হেডার আর বাক্য), সেম্যান্টিক (এমবেডিং দিয়ে ঠিক করা ভাঙার জায়গা) আর লেট চাঙ্কিং (ট্রান্সফর্মারের পরে ভাঙা)। সাথে Anthropic-এর কনটেক্সচুয়াল রিট্রিভাল, যা প্রতিটি চাঙ্কের আগে একটি ব্যাখ্যা জুড়ে হারানো কনটেক্সট ফিরিয়ে আনে।[১][২]

অনুশীলন · ১টি টাস্ক

যেকোনো ফ্রি AI চ্যাট খুলুন: ChatGPT · Claude · Gemini

অনুশীলন কীভাবে করবেন
  • নতুন চ্যাট মানে একদম নতুন কথোপকথন, আগের কোনো হিস্ট্রি নেই। ChatGPT, Claude বা Gemini-তে New chat-এ ক্লিক করুন। সাধারণত এটা উপরে বাঁ দিকে থাকে।
  • একই চ্যাট মানে: যে চ্যাট খোলা আছে, সেখানেই লিখতে থাকুন। আগে যা পাঠিয়েছেন, AI তা মনে রাখে।
  • প্রম্পট ব্যবহার করতে: কপি-তে ক্লিক করুন, চ্যাটের মেসেজ বক্সে ক্লিক করুন, পেস্ট করুন (Ctrl+V, বা ফোনে চেপে ধরে রাখুন), তারপর Enter চাপুন।
  • AI-এর উত্তর প্রতিবার একটু আলাদা হয়। আপনার উত্তর উদাহরণের সাথে হুবহু মিলতে হবে না। একই ধারণা আছে কি না, সেটা দেখুন।
  • শুধু বানানো ডেটা ব্যবহার করুন। নিজের বা অন্যের ব্যক্তিগত তথ্য চ্যাটে পেস্ট করবেন না।

টাস্ক ১

দেখুন, ভুল জায়গায় কাটলে উত্তর কীভাবে নষ্ট হয়

এটা কেন দরকার

আপনি যখন একটা সাপোর্ট চ্যাটবট বানাবেন, আপনার ডকুমেন্ট ছোট ছোট টুকরা করে কাটা হবে, যাকে চাঙ্ক বলে। কাটাটা যদি কোনো তথ্যের মাঝখানে পড়ে, বট ভুল উত্তর দিতে পারে, বা কোনো উত্তরই দিতে পারবে না।

  1. ধাপ ১
    নতুন চ্যাট

    এই প্রম্পটটা কপি করুন, চ্যাটে পেস্ট করে Enter চাপুন। এখানে AI-কে একটা চাঙ্ক দেওয়া হয়েছে, যেটা বাক্যের মাঝখানে কাটা।

    প্রম্পট
    তুমি একটা support bot। শুধু নিচের chunk দেখে প্রশ্নের উত্তর দাও। chunk-এ উত্তর না থাকলে লেখো "যথেষ্ট তথ্য নেই"।
    
    Chunk (প্রতি 90 অক্ষর পরপর কাটা, এটা 2 নম্বর chunk):
    "দিনের মধ্যে। Pro plan-এর customer-রা 30 দিনের মধ্যে refund চাইতে পারবে। Refund মূল payment method-এ 5 কর্মদিবসে ফেরত দেওয়া হয়।"
    
    প্রশ্ন: Basic plan-এর customer-রা কত দিনের মধ্যে refund চাইতে পারবে?

    আপনি দেখবেন: বেশিরভাগ চ্যাট লিখবে যথেষ্ট তথ্য নেই, কারণ বেসিক প্ল্যানের সংখ্যাটা নেই। কয়েকটা মডেল ভুল করে ৩০ বলতে পারে।

    উদাহরণ উত্তর
    যথেষ্ট তথ্য নেই

    আপনার উত্তরের ভাষা একটু আলাদা হবে।

  2. ধাপ ২
    নতুন চ্যাট

    এই প্রম্পটটা কপি করুন, পেস্ট করে Enter চাপুন। এবার চাঙ্কটা বাক্যের শেষে কাটা।

    প্রম্পট
    তুমি একটা support bot। শুধু নিচের chunk দেখে প্রশ্নের উত্তর দাও। chunk-এ উত্তর না থাকলে লেখো "যথেষ্ট তথ্য নেই"।
    
    Chunk (বাক্যের শেষে কাটা):
    "Zentro Cloud Refund Policy. Basic plan-এর customer-রা কেনার 14 দিনের মধ্যে পুরো refund চাইতে পারবে। Pro plan-এর customer-রা 30 দিনের মধ্যে refund চাইতে পারবে।"
    
    প্রশ্ন: Basic plan-এর customer-রা কত দিনের মধ্যে refund চাইতে পারবে?

    আপনি দেখবেন: ১৪ দিন। পুরো তথ্যটা একটা চাঙ্কের ভেতরেই আছে।

    উদাহরণ উত্তর
    Basic plan-এর customer-রা 14 দিনের মধ্যে refund চাইতে পারবে।

    আপনার উত্তরের ভাষা একটু আলাদা হবে।

  3. ধাপ ৩
    একই চ্যাট

    ধাপ ১-এর চাঙ্কটা আবার দেখুন। কোন কোন শব্দ সেখানে নেই, লিখে রাখুন।

    আপনি দেখবেন: চাঙ্কটা শুরু হয়েছে দিনের মধ্যে দিয়ে। সংখ্যা ১৪ আর Basic plan শব্দ দুটো নেই।

এইমাত্র কী হলো

একটা চ্যাটবট আপনার পুরো ডকুমেন্ট পড়ে না। সে ছোট টুকরা, মানে চাঙ্ক, খোঁজে, আর সবচেয়ে ভালো কয়েকটা AI-কে পাঠায়। ফিক্সড-সাইজ কাটার নির্দিষ্ট সংখ্যক অক্ষর পরপর কাটে, তথ্যের মাঝখানে হলেও। এখানে কাটায় ১৪ হারিয়ে গেছে, তাই AI উত্তর দিতে পারেনি। যে কাটার বাক্যের শেষে থামে, সে তথ্যটা পুরো রাখে।

কাজ শেষ, যখন আপনার কাছে দুটো উত্তর আছে: একটাতে ১৪ সংখ্যা নেই, আরেকটাতে ১৪ দিন আছে।

নিজেকে যাচাই করুনপুরো পলিসি ডকুমেন্টে থাকা সত্ত্বেও ধাপ ১ কেন ব্যর্থ হলো?উত্তর দেখুন

কাটার বাক্যটা ভেঙে ফেলেছে, তাই সংখ্যা আর প্ল্যানের নাম আলাদা চাঙ্কে চলে গেছে। সার্চ শুধু একটা চাঙ্ক AI-কে পাঠিয়েছে। যে কাটার বাক্যের শেষে কাটে, সে তথ্যটা এক টুকরাতেই রাখে।

আরেকটু কঠিন করে দেখুন

ধাপ ২-এর চাঙ্কের প্রথম বাক্যটা বদলে লিখুন কোম্পানি দাম বাড়িয়েছে। তারপর জিজ্ঞেস করুন এটা কোন কোম্পানির কথা? এরপর একদম উপরে Zentro Cloud-এর refund policy থেকে। লাইনটা যোগ করে আবার জিজ্ঞেস করুন। কী বদলালো?

ভিডিও দেখুন · ৩টি