ভিজ্যুয়াল লার্নিং রিসোর্স (ছবিতে শেখার উৎস)

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি সম্ভাবনার তালিকা চায়।

Finish this sentence. Do not write the sentence again.

The cat sat on the

Give me the 5 most likely next words. For each word, give your best guess of its percentage chance. The five percentages must add up to about 100%. Show a small table only.

✓আপনি দেখবেন: শতকরা হারসহ পাঁচটি শব্দ। হারগুলোর যোগফল প্রায় ১০০%। একটি শব্দ স্পষ্টভাবে সবার আগে।

| Word | Chance |
|---|---|
| mat | 45% |
| floor | 20% |
| couch | 15% |
| bed | 12% |
| roof | 8% |

Transformer Explainer খুলুন। The cat sat on the লিখে Generate চাপুন। পরের টোকেনের সম্ভাবনার তালিকা দেখুন।

✓আপনি দেখবেন: GPT-2-এর আসল সম্ভাবনাসহ ক্যান্ডিডেট টোকেনের তালিকা। সবার আগে সাধারণত পরিচিত জায়গা বা জিনিস থাকে, যেমন floor, bed বা couch। চ্যাটের উত্তরের সাথে কিছুটা ভিন্ন হতে পারে। সেটা ঠিক আছে।

এক্সপ্লেইনারে টেম্পারেচার স্লাইডার প্রথমে 0.2, তারপর 2.0 করুন। প্রতিবার Generate চাপুন। চ্যাটে জিজ্ঞাসা করুন: Why does a high temperature give stranger words?

✓আপনি দেখবেন: 0.2-এ প্রায় প্রতিবার সবচেয়ে সম্ভাব্য শব্দ জেতে। 2.0-এ অপ্রচলিত শব্দ আসে। চ্যাটের উত্তরে থাকবে যে বেশি টেম্পারেচার সম্ভাবনার তালিকাকে সমান করে দেয়।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি পাতার আসল nano-GPT-র আকার ব্যবহার করে।

A tiny GPT model has these sizes: vocabulary 3, positions 11, width C = 48, 3 transformer blocks. Each block has: two layer norms (2 × 48 weights and 2 × 48 biases in total for both), one attention layer (a 48 × 144 matrix and 144 biases for Q, K, V; then a 48 × 48 matrix and 48 biases for the output), and one MLP (48 × 192 plus 192 biases, then 192 × 48 plus 48 biases). The output layer shares its weights with the token embedding. There is one final layer norm (2 × 48).

Count the parameters. Show a table: token embedding, position embedding, one block, three blocks, final layer norm, total. Show the arithmetic.

✓আপনি দেখবেন: একটি ছোট টেবিল। টোকেন এমবেডিংয়ে ১৪৪টি প্যারামিটার (৩ × ৪৮)। পজিশন এমবেডিংয়ে ৫২৮টি (১১ × ৪৮)। পুরো মডেলের মোট প্রায় ৮৫,০০০।

| Part | Parameters |
|---|---|
| Token embedding 3 × 48 | 144 |
| Position embedding 11 × 48 | 528 |
| One block | 28,272 |
| Three blocks | 84,816 |
| Final layer norm | 96 |
| Total | 85,584 |

একটি ডেস্কটপ ব্রাউজারে bbycroft.net/llm খুলুন। ওয়াকথ্রু শুরু করুন। Embedding ধাপে টোকেন টেবিল আর পজিশন টেবিলের আকার খুঁজুন।

✓আপনি দেখবেন: টোকেন টেবিলে ৩টি সারি এবং পজিশন টেবিলে ১১টি সারি। প্রতিটি সারিতে ৪৮টি সংখ্যা। এটি আপনার গণনার সাথে মেলে।

চ্যাটে জিজ্ঞাসা করুন: If I change the width C from ৪৮ to 96 and keep everything else, how many parameters does the model have now? Show the arithmetic.

✓আপনি দেখবেন: প্রায় ৩,৩৭,০০০-এর কাছাকাছি একটি সংখ্যা। উইডথ দ্বিগুণ করলে প্যারামিটার প্রায় ৪ গুণ হয়, কারণ বেশিরভাগ ওয়েট ম্যাট্রিক্স C × C বা C × 4C আকারের।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি সঠিক সংখ্যাসহ তিন ধাপ চায়।

A model has one weight w. Its loss is (w - 3)^2 + 1. The slope of the loss is 2 * (w - 3).
Start at w = 0. Use a learning rate of 0.3. Apply the rule w_new = w - 0.3 * slope.
Do 3 steps. Show a table with the columns: step, slope, new w. Show the arithmetic.

✓আপনি দেখবেন: তিন সারির একটি টেবিল। ১ম ধাপের পর ওয়েট ১.৮। ২য় ধাপের পর ২.৫২। ৩য় ধাপের পর ২.৮০৮।

| Step | Slope | New w |
|---|---|---|
| 1 | 2 × (0 − 3) = −6 | 0 − 0.3 × (−6) = 1.8 |
| 2 | 2 × (1.8 − 3) = −2.4 | 1.8 + 0.72 = 2.52 |
| 3 | 2 × (2.52 − 3) = −0.96 | 2.52 + 0.288 = 2.808 |

ক্যালকুলেটরে ১ম ধাপ যাচাই করুন: 0 − 0.3 × (2 × (0 − 3))। তারপর 3Blue1Brown-এর ২য় অধ্যায়ের প্রথম অর্ধেক দেখুন এবং কস্ট সারফেসে বল গড়িয়ে নামার ছবিটি খুঁজুন।

✓আপনি দেখবেন: ১.৮। চ্যাটের উত্তর মেলে। ভিডিও একই ধারণা অনেক ডাইমেনশনে দেখায়।

এই প্রম্পটটি একই চ্যাটে পেস্ট করে Enter চাপুন। এতে ধাপের মাপ অতিরিক্ত বড়।

Same loss and same start, but now use a learning rate of 1.1. Do 3 steps. Then explain in two sentences why the loss does not go down.

✓আপনি দেখবেন: ওয়েট তলা পেরিয়ে লাফিয়ে যায় এবং ধাপ বড় হতে থাকে: ৬.৬, তারপর −১.৩২, তারপর প্রায় ৮.১৮। লস কমছে না, বাড়ছে।

Step 1: w = 0 − 1.1 × (−6) = 6.6
Step 2: w = 6.6 − 1.1 × 7.2 = −1.32
Step 3: w = −1.32 − 1.1 × (−8.64) = 8.184
Each step jumps over the bottom and lands farther away. The step is too large, so the loop diverges.

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। সংখ্যাগুলো উপরের হিসাবের উদাহরণের মতোই।

Compute one step of scaled dot-product attention by hand.
Query q = [1, 0].
Key 1 = [1, 0], Key 2 = [0, 1]. Value 1 = [1, 2], Value 2 = [3, 4].
The key size d_k is 2.
Show: the scores q·k, the scaled scores (divide by sqrt(d_k)), the softmax weights, and the final output vector. Round to 3 decimals.

✓আপনি দেখবেন: ওজন প্রায় ০.৬৭০ ও ০.৩৩০। ফল প্রায় [১.৬৬, ২.৬৬]।

Scores: 1 and 0.
Scaled: 0.707 and 0.
Softmax weights: 0.670 and 0.330.
Output: 0.670 × [1, 2] + 0.330 × [3, 4] = [1.660, 2.660].

The Illustrated Transformer খুলুন। যে ধাপে স্কোর ৮ দিয়ে ভাগ হয়েছে সেটি খুঁজুন। তারপর নিচের প্রশ্নটি একই চ্যাটে কপি করুন।

Why do we divide the scores by sqrt(d_k) before softmax? Answer in 3 short sentences. Use the case d_k = 64 as an example.

✓আপনি দেখবেন: পোস্টে ৮ দিয়ে ভাগ করা হয়েছে। এটি ৬৪-র বর্গমূল। ৬৪ হলো বেস মডেলের কী-এর আকার।

Dot products of long vectors grow with the vector size. For d_k = 64 the scores can be around eight times larger than for d_k = 1. Large scores push softmax to nearly 0 and 1, so the gradients become tiny. Dividing by 8 keeps the scores in a range where softmax still learns.

চ্যাটকে জিজ্ঞাসা করুন: In the sentence “The animal didn't cross the street because it was too tired”, which word does “it” attend to? What changes if we replace “tired” with “wide”?

✓আপনি দেখবেন: প্রথম বাক্যে animal। দ্বিতীয় বাক্যে street। শেষ শব্দের অর্থ বদলালে it কিসের দিকে ইঙ্গিত করে তা বদলে যায়।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি একটি অনুমান চায়।

A classifier can draw only one straight line. The data has two classes in 2D. Class A is a filled disc around the origin (radius up to 1.5). Class B is a ring around it (radius from 2.2 to 3.1).
Can one straight line separate the classes using only the inputs x1 and x2? If not, name one extra feature that makes it possible and explain in two sentences why. Do not use more than 70 words.

✓আপনি দেখবেন: উত্তরে থাকবে না, একটি সোজা রেখা ক্লাস দুটিকে আলাদা করতে পারে না। সে X1² + X2²-এর মতো একটি ফিচার (কেন্দ্র থেকে দূরত্ব) সুপারিশ করবে।

No. Every line leaves part of the ring on both sides of the disc. Add the feature x1² + x2², which is the squared distance from the centre. In that feature, class A has small values and class B has large values, so a single threshold separates them.

playground.tensorflow.org খুলুন। circle ডেটাসেট বাছুন। শুধু X1 আর X2 চালু রাখুন। সব হিডেন লেয়ার সরিয়ে দিন। প্লে চাপুন এবং ১০ সেকেন্ড অপেক্ষা করুন। তারপর X1² ও X2² চালু করুন।

✓আপনি দেখবেন: শুধু X1, X2 থাকলে লস প্রায় ০.৫-এ থাকে এবং ব্যাকগ্রাউন্ড ঘোলা থাকে। স্কোয়ার্ড ফিচার যোগ করলে লস প্রায় ০-তে নামে এবং বিন্দুগুলো পরিষ্কার আলাদা হয়।

চ্যাটে ফিরে জিজ্ঞাসা করুন: I set the activation to Linear and added three hidden layers. Will the circle be solved with only X1 and X2? Explain. তারপর Playground-এ চেষ্টা করুন।

✓আপনি দেখবেন: চ্যাট বলবে না। অনেকগুলো লিনিয়ার লেয়ার মিলেও লিনিয়ার। Playground-ও তা নিশ্চিত করে: সীমারেখা সোজাই থাকে।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি Llama 3 8B-র মতো আকার ব্যবহার করে।

A model has 32 layers, 8 KV heads, and a head size of 128. It stores the KV cache in FP16 (2 bytes per number).
Formula: bytes per token = 2 (K and V) × layers × kv_heads × head_size × bytes.
1. Compute the KV cache per token in KiB.
2. Compute the cache for a context of 131,072 tokens in GiB.
Show the arithmetic.

✓আপনি দেখবেন: প্রতি টোকেনে ১২৮ KiB, আর ১,৩১,০৭২ টোকেনে প্রায় ১৬ GiB।

1. 2 × 32 × 8 × 128 × 2 = 131,072 bytes = 128 KiB per token.
2. 131,072 × 131,072 = 17,179,869,184 bytes = 16 GiB.

একই চ্যাটে জিজ্ঞাসা করুন: Now the same model, but with ৩২ KV heads (standard multi-head attention). How big is the cache for ১৩১,০৭২ tokens? How many times bigger is it?

✓আপনি দেখবেন: প্রায় ৬৪ GiB। এটি ৪ গুণ বড়, কারণ KV হেড ৪ গুণ।

আর্টিকেল খুলুন এবং GQA অংশটি খুঁজুন। GQA কেন KV-ক্যাশ ট্রাফিক কমায় তার ব্যাখ্যার বাক্যটি দেখুন।

✓আপনি দেখবেন: আর্টিকেল বলছে GQA কয়েকটি কুয়েরি হেডকে একই কী-ভ্যালু প্রজেকশন ভাগ করতে দেয়। এতে KV ক্যাশিং অনেক সস্তা হয়, মূলত মেমরি কমার মাধ্যমে।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। সংখ্যাগুলো গাইডের Mixtral 8x7B উদাহরণের।

A mixture-of-experts model has 8 experts in each layer. Each expert (all layers together) has 5.6 billion parameters. The router picks 2 experts for each token. Ignore the shared parameters.
1. How many parameters must be loaded in memory (total)?
2. How many parameters are used for one token (active)?
3. If each parameter takes 2 bytes (FP16), how many GB of memory do the experts need?
Show the arithmetic in a short list.

✓আপনি দেখবেন: মোট ৪৪.৮B, সক্রিয় ১১.২B, আর এক্সপার্টদের জন্য প্রায় ৮৯.৬ GB মেমরি।

1. Total: 8 × 5.6B = 44.8B.
2. Active: 2 × 5.6B = 11.2B.
3. Memory: 44.8B × 2 bytes = 89.6 GB.
(The real Mixtral has some shared parameters, so its totals are 46.7B and about 12.8B.)

গাইডের শেষ অংশ Active vs. Sparse Parameters with Mixtral 8x7B খুলুন। তার সংখ্যার সাথে চ্যাটের উত্তর মেলান।

✓আপনি দেখবেন: গাইড বলছে প্রতিটি এক্সপার্ট ৫.৬B, ৭B নয়। লোড করতে হয় ৪৬.৭B, ব্যবহার হয় প্রায় ১২.৮B। চ্যাটের উত্তর একটু কম, কারণ সে শেয়ার্ড প্যারামিটার ধরেনি।

একই চ্যাটে জিজ্ঞাসা করুন: A dense ১৩B model and this MoE model have almost the same speed per token. Why does the MoE model still need about ৩.৫ times more GPU memory?

✓আপনি দেখবেন: সব এক্সপার্ট লোড করতে হয়, কারণ পরের টোকেনের জন্য রাউটার যেকোনোটি বাছতে পারে। মেমরি নির্ভর করে মোট আকারের উপর, আর গতি নির্ভর করে সক্রিয় আকারের উপর।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি ডায়াগ্রামের এন্ড-টু-এন্ড সূত্র ব্যবহার করে।

An LLM request has a time to first token (TTFT) of 400 ms and a time per output token (TPOT) of 25 ms. The answer has 200 tokens.
Formula: end-to-end time = TTFT + (tokens - 1) x TPOT.
1. Compute the end-to-end time in ms and in seconds.
2. Compute how many tokens per second the user sees after the first token.
Show the arithmetic.

✓আপনি দেখবেন: ৫,৩৭৫ ms, প্রায় ৫.৪ সেকেন্ড। ডিকোডের সময় ব্যবহারকারী প্রতি সেকেন্ডে প্রায় ৪০টি টোকেন দেখে।

1. 400 + 199 x 25 = 400 + 4,975 = 5,375 ms, which is 5.38 s.
2. 1000 / 25 = 40 tokens per second.

একই চ্যাটে জিজ্ঞাসা করুন: Prefix caching cuts TTFT from ৪০০ ms to 100 ms. Speculative decoding instead cuts TPOT from ২৫ ms to 15 ms. Compute the new end-to-end time for each, and say which one helps more for a 200-token answer.

✓আপনি দেখবেন: প্রিফিক্স ক্যাশিং দিলে ৫,০৭৫ ms। স্পেকুলেটিভ ডিকোডিং দিলে ৩,৩৮৫ ms। লম্বা উত্তরের জন্য TPOT কমানো বেশি কাজে লাগে।

Prefix caching: 100 + 199 x 25 = 5,075 ms.
Speculative decoding: 400 + 199 x 15 = 3,385 ms.
For 200 tokens, speculative decoding saves more because the decode phase is most of the time.

হ্যান্ডবুকের পাতা খুলে ভিজুয়ালাইজারে প্লে চাপুন। চ্যাটে জিজ্ঞাসা করুন: For a chatbot with ৪,000-token system prompts and 20-token answers, which optimization is more useful, prefix caching or speculative decoding? Why?

✓আপনি দেখবেন: প্রিফিক্স ক্যাশিং। প্রম্পট লম্বা আর উত্তর ছোট, তাই অপেক্ষার বেশিরভাগ প্রিফিল (TTFT)। শেয়ার্ড সিস্টেম প্রম্পট ক্যাশ করলে তার বেশিরভাগ বাদ যায়।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি দুটি নিউরন দিয়ে সুপারপজিশনের ধারণা চায়।

A layer has only 2 neurons, but it must store 3 different ideas (A, B, C). The ideas rarely appear at the same time. Explain in under 80 words how the layer can still store all three. Use the word "direction".

✓আপনি দেখবেন: উত্তরে থাকবে যে তিনটি ধারণা ২D সমতলে তিনটি দিক হিসেবে রাখা যায়, যেমন ১২০ ডিগ্রি দূরত্বে। এটি কাজ করে কারণ ধারণাগুলো প্রায় একসাথে আসে না।

Each idea gets its own direction in the 2D plane, for example three arrows 120 degrees apart. When idea A appears, the two neurons move along A's arrow. Because the ideas rarely appear together, the layer can tell them apart by direction. This is superposition: more ideas than neurons.

neuronpedia.org খুলুন। Search ব্যবহার করে একটি সহজ ধারণার ফিচার খুঁজুন, যেমন ocean। দুটি ফিচার খুলুন। প্রতিটির ব্যাখ্যা আর সেরা উদাহরণ পড়ুন। তারপর নিচের দুর্বল উদাহরণগুলো দেখুন।

✓আপনি দেখবেন: প্রতিটি ফিচারের বেশিরভাগ সেরা উদাহরণ ব্যাখ্যার সাথে মেলে। কিছু দুর্বল উদাহরণে দ্বিতীয় অর্থ বা শব্দের ভিন্ন ব্যবহার দেখা যায়।

চ্যাটে ফিরে জিজ্ঞাসা করুন: Give me ৩ reasons why an automatically written label for an SAE feature can mislead a reader.

✓আপনি দেখবেন: তিনটি কারণ, যেমন: লেবেল হয়তো শুধু সেরা উদাহরণ থেকে এসেছে; ফিচার হয়তো দ্বিতীয়, দুর্বল অর্থেও সক্রিয়; লেবেল একটি মডেলের অনুমান, যা ভুল হতে পারে।

এই প্রম্পটটি কপি করে একটি AI চ্যাটে পেস্ট করুন এবং Enter চাপুন। এটি একটি ছোট CSV বানায়। CSV-র লেখা tickets.csv নামের একটি ফাইলে কপি করুন।

Create a CSV with the header: message,topic
Write 40 short customer-support messages (8 to 15 words each) from an online shop. Use exactly 4 topics, 10 rows each: billing, login, shipping, returns. Then add one extra row at the end: a message about baking a chocolate cake, with the topic "unknown".
Output only the CSV in a code block.

✓আপনি দেখবেন: message,topic হেডারসহ ৪০ সারির একটি CSV: ৪টি টপিকের প্রতিটিতে ১০টি সারি। রান্না নিয়ে একটি সারি কোনো টপিকের সাথে মেলে না।

message,topic
I was charged twice for the same order this month,billing
My password reset email never arrives in my inbox,login
The parcel has been stuck at the depot for five days,shipping
How do I send back a jacket that is too small,returns
...
What is the best way to bake a moist chocolate cake,unknown

Embedding Atlas খুলুন, Load Data বাছুন এবং tickets.csv নির্বাচন করুন। জিজ্ঞাসা করলে টেক্সট হিসেবে message কলাম বাছুন। মানচিত্রের জন্য অপেক্ষা করুন। রঙের সেটিং থাকলে বিন্দুগুলো topic অনুযায়ী রঙ করুন।

✓আপনি দেখবেন: ৪টি স্পষ্ট দল (billing, login, shipping, returns) সহ একটি মানচিত্র। একটি একলা বিন্দু, অর্থাৎ কেকের বার্তাটি, সব দল থেকে দূরে বসে আছে।

একলা বিন্দুর উপর হোভার করে তার লেখা পড়ুন। login দলের একটি বিন্দু বেছে তার নিকটতম প্রতিবেশীদের দেখুন। চ্যাটে জিজ্ঞাসা করুন: The map shows ৪ groups and one lone point. Name ৩ things I should check before I say the lone point is a labelling error.

✓আপনি দেখবেন: login বিন্দুর প্রতিবেশীরা অন্য login বার্তা। চ্যাট পরামর্শ দেবে: সারিটি পড়ুন, টপিকের লেবেল দেখুন, আর অন্য এমবেডিং মডেল বা অন্য UMAP সেটিং দিয়ে পরীক্ষা করুন।