Visual Learning Resources (ছবিতে শেখার উৎস)

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি সম্ভাবনার তালিকা চায়।

Finish this sentence. Do not write the sentence again.

The cat sat on the

Give me the 5 most likely next words. For each word, give your best guess of its percentage chance. The five percentages must add up to about 100%. Show a small table only.

✓তুমি দেখবে: শতকরা হারসহ পাঁচটি শব্দ। হারগুলোর যোগফল প্রায় ১০০%। একটি শব্দ স্পষ্টভাবে সবার আগে।

| Word | Chance |
|---|---|
| mat | 45% |
| floor | 20% |
| couch | 15% |
| bed | 12% |
| roof | 8% |

Transformer Explainer খোলো। The cat sat on the লিখে Generate চাপো। পরের token-এর সম্ভাবনার তালিকা দেখো।

✓তুমি দেখবে: GPT-2-এর আসল সম্ভাবনাসহ candidate token-এর তালিকা। সবার আগে সাধারণত পরিচিত জায়গা বা জিনিস থাকে, যেমন floor, bed বা couch। chat-এর উত্তরের সাথে কিছুটা ভিন্ন হতে পারে। সেটা ঠিক আছে।

Explainer-এ temperature slider প্রথমে 0.2, তারপর 2.0 করো। প্রতিবার Generate চাপো। chat-এ জিজ্ঞাসা করো: Why does a high temperature give stranger words?

✓তুমি দেখবে: 0.2-এ প্রায় প্রতিবার সবচেয়ে সম্ভাব্য শব্দ জেতে। 2.0-এ অপ্রচলিত শব্দ আসে। chat-এর উত্তরে থাকবে যে বেশি temperature সম্ভাবনার তালিকাকে সমান করে দেয়।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি পেজের আসল nano-GPT-র আকার ব্যবহার করে।

A tiny GPT model has these sizes: vocabulary 3, positions 11, width C = 48, 3 transformer blocks. Each block has: two layer norms (2 × 48 weights and 2 × 48 biases in total for both), one attention layer (a 48 × 144 matrix and 144 biases for Q, K, V; then a 48 × 48 matrix and 48 biases for the output), and one MLP (48 × 192 plus 192 biases, then 192 × 48 plus 48 biases). The output layer shares its weights with the token embedding. There is one final layer norm (2 × 48).

Count the parameters. Show a table: token embedding, position embedding, one block, three blocks, final layer norm, total. Show the arithmetic.

✓তুমি দেখবে: একটি ছোট table। token embedding-এ ১৪৪টি parameter (৩ × ৪৮)। position embedding-এ ৫২৮টি (১১ × ৪৮)। পুরো মডেলের মোট প্রায় ৮৫,০০০।

| Part | Parameters |
|---|---|
| Token embedding 3 × 48 | 144 |
| Position embedding 11 × 48 | 528 |
| One block | 28,272 |
| Three blocks | 84,816 |
| Final layer norm | 96 |
| Total | 85,584 |

একটি desktop browser-এ bbycroft.net/llm খোলো। walkthrough শুরু করো। Embedding ধাপে token table আর position table-এর আকার খোঁজো।

✓তুমি দেখবে: token table-এ ৩টি সারি এবং position table-এ ১১টি সারি। প্রতিটি সারিতে ৪৮টি সংখ্যা। এটি তোমার গণনার সাথে মেলে।

chat-এ জিজ্ঞাসা করো: If I change the width C from 48 to 96 and keep everything else, how many parameters does the model have now? Show the arithmetic.

✓তুমি দেখবে: প্রায় ৩,৩৭,০০০-এর কাছাকাছি একটি সংখ্যা। width দ্বিগুণ করলে parameter প্রায় ৪ গুণ হয়, কারণ বেশিরভাগ weight matrix C × C বা C × 4C আকারের।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি সঠিক সংখ্যাসহ তিন ধাপ চায়।

A model has one weight w. Its loss is (w - 3)^2 + 1. The slope of the loss is 2 * (w - 3).
Start at w = 0. Use a learning rate of 0.3. Apply the rule w_new = w - 0.3 * slope.
Do 3 steps. Show a table with the columns: step, slope, new w. Show the arithmetic.

✓তুমি দেখবে: তিন সারির একটি table। ১ম ধাপের পর weight ১.৮। ২য় ধাপের পর ২.৫২। ৩য় ধাপের পর ২.৮০৮।

| Step | Slope | New w |
|---|---|---|
| 1 | 2 × (0 − 3) = −6 | 0 − 0.3 × (−6) = 1.8 |
| 2 | 2 × (1.8 − 3) = −2.4 | 1.8 + 0.72 = 2.52 |
| 3 | 2 × (2.52 − 3) = −0.96 | 2.52 + 0.288 = 2.808 |

ক্যালকুলেটরে ১ম ধাপ যাচাই করো: 0 − 0.3 × (2 × (0 − 3))। তারপর 3Blue1Brown-এর ২য় অধ্যায়ের প্রথম অর্ধেক দেখো এবং cost surface-এ ball গড়িয়ে নামার ছবিটি খোঁজো।

✓তুমি দেখবে: ১.৮। chat-এর উত্তর মেলে। ভিডিও একই ধারণা অনেক dimension-এ দেখায়।

এই prompt-টি একই chat-এ paste করে Enter চাপো। এতে ধাপের মাপ অতিরিক্ত বড়।

Same loss and same start, but now use a learning rate of 1.1. Do 3 steps. Then explain in two sentences why the loss does not go down.

✓তুমি দেখবে: weight তলা পেরিয়ে লাফিয়ে যায় এবং ধাপ বড় হতে থাকে: ৬.৬, তারপর −১.৩২, তারপর প্রায় ৮.১৮। loss কমছে না, বাড়ছে।

Step 1: w = 0 − 1.1 × (−6) = 6.6
Step 2: w = 6.6 − 1.1 × 7.2 = −1.32
Step 3: w = −1.32 − 1.1 × (−8.64) = 8.184
Each step jumps over the bottom and lands farther away. The step is too large, so the loop diverges.

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। সংখ্যাগুলো উপরের হিসাবের উদাহরণের মতোই।

Compute one step of scaled dot-product attention by hand.
Query q = [1, 0].
Key 1 = [1, 0], Key 2 = [0, 1]. Value 1 = [1, 2], Value 2 = [3, 4].
The key size d_k is 2.
Show: the scores q·k, the scaled scores (divide by sqrt(d_k)), the softmax weights, and the final output vector. Round to 3 decimals.

✓তুমি দেখবে: ওজন প্রায় ০.৬৭০ ও ০.৩৩০। ফল প্রায় [1.66, 2.66]।

Scores: 1 and 0.
Scaled: 0.707 and 0.
Softmax weights: 0.670 and 0.330.
Output: 0.670 × [1, 2] + 0.330 × [3, 4] = [1.660, 2.660].

The Illustrated Transformer খোলো। যে ধাপে score ৮ দিয়ে ভাগ হয়েছে সেটি খোঁজো। তারপর নিচের প্রশ্নটি একই chat-এ copy করো।

Why do we divide the scores by sqrt(d_k) before softmax? Answer in 3 short sentences. Use the case d_k = 64 as an example.

✓তুমি দেখবে: পোস্টে ৮ দিয়ে ভাগ করা হয়েছে। এটি ৬৪-র বর্গমূল। ৬৪ হলো base মডেলের key-এর আকার।

Dot products of long vectors grow with the vector size. For d_k = 64 the scores can be around eight times larger than for d_k = 1. Large scores push softmax to nearly 0 and 1, so the gradients become tiny. Dividing by 8 keeps the scores in a range where softmax still learns.

chat-কে জিজ্ঞাসা করো: In the sentence “The animal didn't cross the street because it was too tired”, which word does “it” attend to? What changes if we replace “tired” with “wide”?

✓তুমি দেখবে: প্রথম বাক্যে animal। দ্বিতীয় বাক্যে street। শেষ শব্দের অর্থ বদলালে it কিসের দিকে ইঙ্গিত করে তা বদলে যায়।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি একটি অনুমান চায়।

A classifier can draw only one straight line. The data has two classes in 2D. Class A is a filled disc around the origin (radius up to 1.5). Class B is a ring around it (radius from 2.2 to 3.1).
Can one straight line separate the classes using only the inputs x1 and x2? If not, name one extra feature that makes it possible and explain in two sentences why. Do not use more than 70 words.

✓তুমি দেখবে: উত্তরে থাকবে না, একটি সোজা রেখা class দুটিকে আলাদা করতে পারে না। সে X1² + X2²-এর মতো একটি feature (কেন্দ্র থেকে দূরত্ব) সুপারিশ করবে।

No. Every line leaves part of the ring on both sides of the disc. Add the feature x1² + x2², which is the squared distance from the centre. In that feature, class A has small values and class B has large values, so a single threshold separates them.

playground.tensorflow.org খোলো। circle dataset বাছো। শুধু X1 আর X2 চালু রাখো। সব hidden layer সরিয়ে দাও। play চাপো এবং ১০ সেকেন্ড অপেক্ষা করো। তারপর X1² ও X2² চালু করো।

✓তুমি দেখবে: শুধু X1, X2 থাকলে loss প্রায় ০.৫-এ থাকে এবং background ঘোলা থাকে। squared feature যোগ করলে loss প্রায় ০-তে নামে এবং বিন্দুগুলো পরিষ্কার আলাদা হয়।

chat-এ ফিরে জিজ্ঞাসা করো: I set the activation to Linear and added three hidden layers. Will the circle be solved with only X1 and X2? Explain. তারপর playground-এ চেষ্টা করো।

✓তুমি দেখবে: chat বলবে না। অনেকগুলো linear layer মিলেও linear। playground-ও তা নিশ্চিত করে: সীমারেখা সোজাই থাকে।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি Llama 3 8B-র মতো আকার ব্যবহার করে।

A model has 32 layers, 8 KV heads, and a head size of 128. It stores the KV cache in FP16 (2 bytes per number).
Formula: bytes per token = 2 (K and V) × layers × kv_heads × head_size × bytes.
1. Compute the KV cache per token in KiB.
2. Compute the cache for a context of 131,072 tokens in GiB.
Show the arithmetic.

✓তুমি দেখবে: প্রতি token-এ 128 KiB, আর ১,৩১,০৭২ token-এ প্রায় 16 GiB।

1. 2 × 32 × 8 × 128 × 2 = 131,072 bytes = 128 KiB per token.
2. 131,072 × 131,072 = 17,179,869,184 bytes = 16 GiB.

একই chat-এ জিজ্ঞাসা করো: Now the same model, but with 32 KV heads (standard multi-head attention). How big is the cache for 131,072 tokens? How many times bigger is it?

✓তুমি দেখবে: প্রায় 64 GiB। এটি ৪ গুণ বড়, কারণ KV head ৪ গুণ।

article খোলো এবং GQA অংশটি খোঁজো। GQA কেন KV-cache traffic কমায় তার ব্যাখ্যার বাক্যটি দেখো।

✓তুমি দেখবে: article বলছে GQA কয়েকটি query head-কে একই key-value projection ভাগ করতে দেয়। এতে KV caching অনেক সস্তা হয়, মূলত memory কমার মাধ্যমে।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। সংখ্যাগুলো guide-এর Mixtral 8x7B উদাহরণের।

A mixture-of-experts model has 8 experts in each layer. Each expert (all layers together) has 5.6 billion parameters. The router picks 2 experts for each token. Ignore the shared parameters.
1. How many parameters must be loaded in memory (total)?
2. How many parameters are used for one token (active)?
3. If each parameter takes 2 bytes (FP16), how many GB of memory do the experts need?
Show the arithmetic in a short list.

✓তুমি দেখবে: মোট ৪৪.৮B, সক্রিয় ১১.২B, আর expert-দের জন্য প্রায় ৮৯.৬ GB memory।

1. Total: 8 × 5.6B = 44.8B.
2. Active: 2 × 5.6B = 11.2B.
3. Memory: 44.8B × 2 bytes = 89.6 GB.
(The real Mixtral has some shared parameters, so its totals are 46.7B and about 12.8B.)

guide-এর শেষ অংশ Active vs. Sparse Parameters with Mixtral 8x7B খোলো। তার সংখ্যার সাথে chat-এর উত্তর মেলাও।

✓তুমি দেখবে: guide বলছে প্রতিটি expert ৫.৬B, ৭B নয়। load করতে হয় ৪৬.৭B, ব্যবহার হয় প্রায় ১২.৮B। chat-এর উত্তর একটু কম, কারণ সে shared parameter ধরেনি।

একই chat-এ জিজ্ঞাসা করো: A dense 13B model and this MoE model have almost the same speed per token. Why does the MoE model still need about 3.5 times more GPU memory?

✓তুমি দেখবে: সব expert load করতে হয়, কারণ পরের token-এর জন্য router যেকোনোটি বাছতে পারে। memory নির্ভর করে মোট আকারের উপর, আর গতি নির্ভর করে সক্রিয় আকারের উপর।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি diagram-এর end-to-end সূত্র ব্যবহার করে।

An LLM request has a time to first token (TTFT) of 400 ms and a time per output token (TPOT) of 25 ms. The answer has 200 tokens.
Formula: end-to-end time = TTFT + (tokens - 1) x TPOT.
1. Compute the end-to-end time in ms and in seconds.
2. Compute how many tokens per second the user sees after the first token.
Show the arithmetic.

✓তুমি দেখবে: 5,375 ms, প্রায় ৫.৪ সেকেন্ড। decode-এর সময় ব্যবহারকারী প্রতি সেকেন্ডে প্রায় ৪০টি token দেখে।

1. 400 + 199 x 25 = 400 + 4,975 = 5,375 ms, which is 5.38 s.
2. 1000 / 25 = 40 tokens per second.

একই chat-এ জিজ্ঞাসা করো: Prefix caching cuts TTFT from 400 ms to 100 ms. Speculative decoding instead cuts TPOT from 25 ms to 15 ms. Compute the new end-to-end time for each, and say which one helps more for a 200-token answer.

✓তুমি দেখবে: Prefix caching দিলে 5,075 ms। Speculative decoding দিলে 3,385 ms। লম্বা উত্তরের জন্য TPOT কমানো বেশি কাজে লাগে।

Prefix caching: 100 + 199 x 25 = 5,075 ms.
Speculative decoding: 400 + 199 x 15 = 3,385 ms.
For 200 tokens, speculative decoding saves more because the decode phase is most of the time.

handbook-এর পাতা খুলে visualizer-এ play চাপো। chat-এ জিজ্ঞাসা করো: For a chatbot with 4,000-token system prompts and 20-token answers, which optimization is more useful, prefix caching or speculative decoding? Why?

✓তুমি দেখবে: Prefix caching। prompt লম্বা আর উত্তর ছোট, তাই অপেক্ষার বেশিরভাগ prefill (TTFT)। shared system prompt cache করলে তার বেশিরভাগ বাদ যায়।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি দুটি neuron দিয়ে superposition-এর ধারণা চায়।

A layer has only 2 neurons, but it must store 3 different ideas (A, B, C). The ideas rarely appear at the same time. Explain in under 80 words how the layer can still store all three. Use the word "direction".

✓তুমি দেখবে: উত্তরে থাকবে যে তিনটি ধারণা ২D সমতলে তিনটি দিক হিসেবে রাখা যায়, যেমন ১২০ ডিগ্রি দূরত্বে। এটি কাজ করে কারণ ধারণাগুলো প্রায় একসাথে আসে না।

Each idea gets its own direction in the 2D plane, for example three arrows 120 degrees apart. When idea A appears, the two neurons move along A's arrow. Because the ideas rarely appear together, the layer can tell them apart by direction. This is superposition: more ideas than neurons.

neuronpedia.org খোলো। Search ব্যবহার করে একটি সহজ ধারণার feature খোঁজো, যেমন ocean। দুটি feature খোলো। প্রতিটির ব্যাখ্যা আর top উদাহরণ পড়ো। তারপর নিচের দুর্বল উদাহরণগুলো দেখো।

✓তুমি দেখবে: প্রতিটি feature-এর বেশিরভাগ top উদাহরণ ব্যাখ্যার সাথে মেলে। কিছু দুর্বল উদাহরণে দ্বিতীয় অর্থ বা শব্দের ভিন্ন ব্যবহার দেখা যায়।

chat-এ ফিরে জিজ্ঞাসা করো: Give me 3 reasons why an automatically written label for an SAE feature can mislead a reader.

✓তুমি দেখবে: তিনটি কারণ, যেমন: লেবেল হয়তো শুধু top উদাহরণ থেকে এসেছে; feature হয়তো দ্বিতীয়, দুর্বল অর্থেও সক্রিয়; লেবেল একটি মডেলের অনুমান, যা ভুল হতে পারে।

এই prompt-টি copy করে একটি AI chat-এ paste করো এবং Enter চাপো। এটি একটি ছোট CSV বানায়। CSV-র লেখা tickets.csv নামের একটি ফাইলে copy করো।

Create a CSV with the header: message,topic
Write 40 short customer-support messages (8 to 15 words each) from an online shop. Use exactly 4 topics, 10 rows each: billing, login, shipping, returns. Then add one extra row at the end: a message about baking a chocolate cake, with the topic "unknown".
Output only the CSV in a code block.

✓তুমি দেখবে: message,topic header-সহ ৪০ সারির একটি CSV: ৪টি topic-এর প্রতিটিতে ১০টি সারি। রান্না নিয়ে একটি সারি কোনো topic-এর সাথে মেলে না।

message,topic
I was charged twice for the same order this month,billing
My password reset email never arrives in my inbox,login
The parcel has been stuck at the depot for five days,shipping
How do I send back a jacket that is too small,returns
...
What is the best way to bake a moist chocolate cake,unknown

Embedding Atlas খোলো, Load Data বাছো এবং tickets.csv নির্বাচন করো। জিজ্ঞাসা করলে text হিসেবে message column বাছো। মানচিত্রের জন্য অপেক্ষা করো। রঙের সেটিং থাকলে বিন্দুগুলো topic অনুযায়ী রঙ করো।

✓তুমি দেখবে: ৪টি স্পষ্ট দল (billing, login, shipping, returns) সহ একটি মানচিত্র। একটি একলা বিন্দু, অর্থাৎ কেকের বার্তাটি, সব দল থেকে দূরে বসে আছে।

একলা বিন্দুর উপর hover করে তার লেখা পড়ো। login দলের একটি বিন্দু বেছে তার নিকটতম প্রতিবেশীদের দেখো। chat-এ জিজ্ঞাসা করো: The map shows 4 groups and one lone point. Name 3 things I should check before I say the lone point is a labelling error.

✓তুমি দেখবে: login বিন্দুর প্রতিবেশীরা অন্য login বার্তা। chat পরামর্শ দেবে: সারিটি পড়ো, topic-এর লেবেল দেখো, আর অন্য embedding model বা অন্য UMAP সেটিং দিয়ে পরীক্ষা করো।