মূল লেখায় যাও
AI Engineering
English

Reference · ১৪টি part · ৬৩টি section

AI Engineering-এর দরকারি সব বিষয়

একজন AI engineer-এর যা যা জানা দরকার, সব এক জায়গায়: token আর tool use থেকে শুরু করে retrieval, context আর agent loop পর্যন্ত। প্রতিটি বিষয়ে আছে সহজ বাংলা ব্যাখ্যা, হাতে-কলমে practice task আর video। চাইলে technical English version আর সহজ English version-ও পড়তে পারো।

সূচিপত্র

  1. LLM-এর মূল ভিত্তি

    একজন engineer-এর চোখে

    Token, tokenization আর context-এর খরচ, Model family আর trade-off, Closed বনাম open-weight model, Sampling parameter-এর ব্যবহার, Streaming বনাম non-streaming, Structured output আর JSON mode, Function calling আর tool use, Multimodal input (ছবি, audio, PDF), Embedding model আর reranker model, Reasoning model আর extended thinking

  2. Prompt Engineering-এর কৌশল

    System, User আর Assistant message-এর design, Few-shot, role prompting আর persona, Chain-of-thought, ReAct আর reflection pattern, নির্ভরযোগ্য parsing-এর জন্য XML / Markdown structuring, Prompt templating আর variable injection, Prompt versioning — prompt-ও code, Output parser আর ব্যর্থতা সামলানো, Prompt layer-এ prompt injection থেকে রক্ষা

  3. Context Engineering-এর কৌশল

    নতুন “prompt engineering”

    Context window-এর budgeting, Conversation summarization আর rolling memory, Prompt caching-এর কৌশল, Hierarchical memory (স্তরভাগ করা স্মৃতি), Context compression আর pruning, Tool result truncation-এর কৌশল, Lost in the Middle আর তার সমাধান

  4. RAG আর Knowledge System

    Chunking: fixed, semantic, structural আর late chunking, Vector database: Qdrant, Pinecone, Weaviate, pgvector, Chroma, Milvus-এর তুলনা, Hybrid search (BM25 + vector) আর reciprocal rank fusion, Query rewriting, expansion আর HyDE, Multi-hop retrieval আর agentic retrieval, Reranking-এ ফলাফল সাজানো: Cohere, BGE, Voyage, Metadata filtering আর structured retrieval, GraphRAG আর knowledge-graph দিয়ে শক্তিবৃদ্ধি, Document parsing pipeline: Unstructured, LlamaParse, Docling-এর পরিচয়, Multimodal RAG: ছবি, table, chart

  5. Agent আর Agentic System

    Agent আসলে কী, চারটা প্রচলিত agent loop, Single-agent বনাম multi-agent orchestration, State machine আর workflow graph, Agent-এর memory: scratchpad, semantic, procedural, Human-in-the-loop checkpoint (মানুষের অনুমোদনের ধাপ), Subagent আর delegation pattern, Error recovery, retry আর self-correction, দীর্ঘক্ষণ চলা agent আর durable execution, Browser আর computer-use agent

  6. Tool Use আর Integration

    Tool/function schema design, Parallel tool calling, Model Context Protocol (MCP), Sandboxed code execution, API wrappers as tools, Tool result formatting for LLM consumption

  7. Inference (model চালানো)

    API-based vs self-hosted inference, Inference servers, Quantization: GGUF, AWQ, GPTQ, INT4/INT8, KV cache, prefix caching, speculative decoding, Continuous batching and throughput tuning, Latency vs throughput (TTFT, TPS), GPU economics, edge inference, on-device models, Inference providers

  8. LLMOps আর Observability

    Tracing, Token, cost, and latency tracking, Prompt and agent versioning, A/B testing prompts and models in production, Replay and debugging, Drift detection (silent behaviour changes), Feedback loops

  9. Evaluation Engineering (model মাপার কাজ)

    Offline evals: golden datasets, regression tests, LLM-as-judge, RAG metrics: faithfulness, answer relevance, context precision/recall, Agent evals: task success, trajectory, tool-call accuracy, Synthetic data generation for evals, Frameworks, Online evals on production traffic, Red teaming and adversarial testing

  10. খরচ আর Performance Optimization

    Model cascading (cheap → expensive routing), Caching: semantic, output, prompt, Batch APIs for non-real-time workloads, Distillation (small model from big), Prompt compression (LLMLingua-style), Token budgeting per feature, Model gateways: LiteLLM, Portkey, OpenRouter

  11. Safety, Security আর Guardrail

    Prompt injection (direct and indirect), Jailbreak resistance, Data exfiltration via tool calls and rendered links, Content moderation, Guardrail frameworks: NeMo Guardrails, Guardrails AI, PII redaction in inputs and outputs, Rate limiting and abuse prevention, Output validation against schemas, Audit logging for compliance

  12. Multimodal Engineering (text-এর বাইরে)

    Vision: image understanding, OCR-via-LLM, document AI, Voice agents: STT, TTS, realtime APIs, Image generation, Video generation, ComfyUI, Replicate, Fal for media pipelines

  13. AI Application-এর Architecture

    Streaming over SSE / WebSockets / HTTP chunked, Background jobs and queues for long agent runs, Idempotency and resumability, Multi-tenant prompt and key management, Fallback chains across providers, Feature flags for prompts and models, API design patterns for AI features

  14. Visual Learning Resources (ছবিতে শেখার উৎস)

    AI কীভাবে কাজ করে তা দেখানো দশটি interactive গাইড

    Transformer Explainer: মডেল কীভাবে পরের token অনুমান করে, LLM Visualization: GPT-র ভেতরে 3D ভ্রমণ, 3Blue1Brown: animation-এ neural network আর transformer, The Illustrated Transformer: ছবিতে Q, K আর V, TensorFlow Playground: একটি ছোট network train করো এবং ভেঙে দেখো, Attention Variants-এর ভিজ্যুয়াল গাইড: MHA, GQA, MLA, sliding window ও আরও, Mixture of Experts-এর ভিজ্যুয়াল গাইড: router, expert আর load balancing, LLM Inference Handbook: prompt থেকে প্রথম token এবং তার পরে, Neuronpedia: মডেলের ভেতরের feature-এর অর্থ দেখুন, Apple-এর Embedding Atlas: আপনার embedding-এর ভিজ্যুয়াল মানচিত্র