মাল্টিমোডাল ইঞ্জিনিয়ারিং (টেক্সটের বাইরে)

সঙ্গে দেওয়া ছবিটা দেখো।
ধাপ ১: ছবিতে যত লেখা পড়তে পারো, ক্রমানুসারে লেখো।
ধাপ ২: নিচের key দিয়ে JSON দাও:
- item_type (যেমন receipt, sign, menu, note)
- title (মূল শিরোনাম, না থাকলে null)
- dates (list)
- numbers (যত সংখ্যা পড়তে পারো, ছবিতে যেভাবে লেখা সেভাবে, list)
- unclear (যে অংশ ভালো করে পড়তে পারোনি, list)
আন্দাজ করবে না। কোনো অংশ পড়তে কঠিন হলে সেটা unclear-এ রাখো, অন্য key-তে রেখো না।

Below is the text that came from a blurry photo of a shop receipt. Some characters are wrong.

---
RAHIM GR0CERY STOR3
12 Moy 2O25
Rice 5kg ....... 4SO
Oil 1L ......... 18O
Eggs (12) ...... ??5
Total .......... 8l5
---

Return JSON with these keys:
- item_type
- title
- dates (list)
- numbers (list of every number, as written)
- unclear (list of parts you could not read well)
Do not guess. If a part is hard to read, put it in unclear and do not put it in the other keys.

এই ছবিটা সম্পর্কে তোমার কী মনে হয়?

এটা একটা app স্ক্রিনের screenshot।
১. এক বাক্যে বলো স্ক্রিনটা কীসের জন্য।
২. সর্বোচ্চ ৩টা জিনিস লেখো যেগুলো ভুল বা বিভ্রান্তিকর মনে হয়, যেমন কেটে যাওয়া লেখা, কম contrast, বা অস্পষ্ট button। প্রতিটার জন্য বলো স্ক্রিনের কোথায় আছে।
৩. এই ছবি দেখে যা বিচার করা যায় না, তার list দাও।
নির্দিষ্ট করে বলো। design-এর প্রশংসা করবে না।

নিচে একটা screenshot-এর বর্ণনা দিলাম, কারণ আমি ছবিটা upload করতে পারছি না।
স্ক্রিনটা একটা ফোনের দোকানের checkout পেজ। উপরে "Pay" লেখা title সাদা background-এ হালকা ধূসর রঙে। মাঝখানে "Phone numbr" নামের একটা field-এর border লাল, কিন্তু কোনো message নেই। নিচে পাশাপাশি দুটো button: একটা বড় সবুজ button, লেখা "OK", আর একটা ছোট ধূসর button, লেখা "Cancel"। দাম "BDT 12,4" ডান দিকের কিনারায় কেটে গেছে।

এই স্ক্রিন সম্পর্কে তোমার কী মনে হয়?

নিচে একটা screenshot-এর বর্ণনা দিলাম, কারণ আমি ছবিটা upload করতে পারছি না।
স্ক্রিনটা একটা ফোনের দোকানের checkout পেজ। উপরে "Pay" লেখা title সাদা background-এ হালকা ধূসর রঙে। মাঝখানে "Phone numbr" নামের একটা field-এর border লাল, কিন্তু কোনো message নেই। নিচে পাশাপাশি দুটো button: একটা বড় সবুজ button, লেখা "OK", আর একটা ছোট ধূসর button, লেখা "Cancel"। দাম "BDT 12,4" ডান দিকের কিনারায় কেটে গেছে।

১. এক বাক্যে বলো স্ক্রিনটা কীসের জন্য।
২. সর্বোচ্চ ৩টা জিনিস লেখো যেগুলো ভুল বা বিভ্রান্তিকর মনে হয়। প্রতিটার জন্য বলো স্ক্রিনের কোথায় আছে।
৩. এই বর্ণনা থেকে যা বিচার করা যায় না, তার list দাও।
নির্দিষ্ট করে বলো। design-এর প্রশংসা করবে না।

আমি একটা bank help line-এর জন্য voice agent বানাচ্ছি। design হলো speech-to-text (STT), তারপর একটা LLM, তারপর text-to-speech (TTS)। caller কথা বলা থামানোর পর delay গুলো এরকম:
- caller যে সত্যিই কথা শেষ করেছে, এটা নিশ্চিত হতে অপেক্ষা: 600 ms
- STT চূড়ান্ত text বানায়: 400 ms
- LLM তার প্রথম token পাঠায়: 700 ms
- LLM পুরো একটা বাক্য শেষ না করা পর্যন্ত system অপেক্ষা করে, তারপর TTS-এ text পাঠায়: 300 ms
- TTS প্রথম audio বানায়: 350 ms
- caller পর্যন্ত network: 150 ms

১. caller প্রথম শব্দ শোনার আগে মোট delay যোগ করে বলো।
২. কোন stage সবচেয়ে বড়, আর কোনটা কমানো সবচেয়ে সহজ, নাম বলো।
৩. দুটো পরিবর্তনের পরামর্শ দাও। প্রতিটার জন্য বলো কত ms বাঁচতে পারে আর কী ভুল হতে পারে।
একটা ছোট table ব্যবহার করো।

এখন আমার team একটা realtime audio API নিয়ে ভাবছে। audio দুই দিকেই stream হয়, আর model মোট প্রায় 450 ms পরে কথা বলা শুরু করে।
১. আমার পুরনো design-এর কোন কোন stage চলে যায়?
২. আমি কী কী হারাতে পারি, এমন দুটো জিনিস বলো, যেমন control, logging, বা voice বেছে নেওয়া।
৩. bank help line-এর জন্য দুই design-এর মধ্যে বেছে নেওয়ার একটা নিয়ম দাও।
সর্বোচ্চ ৮ লাইনে উত্তর দাও।

আমি একটা diffusion image pipeline ব্যবহার করি। এই tool গুলো আছে: ControlNet (গঠন, যেমন pose, depth বা edge), LoRA (কোনো style বা character শেখানো একটা ছোট trained add-on), inpainting (mask করা একটা জায়গা edit করা), আর IP-Adapter (একটা reference ছবিকে guide হিসেবে ব্যবহার করা)।

প্রতিটা কাজের জন্য সেরা tool বেছে নাও, একটা কারণ দাও, আর বলো আমার কী input লাগবে।
কাজ ১: একই কার্টুন মেয়েকে একই আঁকার style-এ রেখে ২০টা poster বানাও।
কাজ ২: আমার ছবির মানুষটার ঠিক একই pose রেখে ছবিটাকে একটা painting বানাও।
কাজ ৩: একটা product ছবির শুধু আকাশ বদলাও, product যেমন আছে তেমন রাখো।
কাজ ৪: একটা reference ছবির রং আর mood নিয়ে একটা নতুন ছবি বানাও, কোনো training ছাড়া।
দুটো tool কাজ করতে পারলে সেটাও বলো।

কাজ ২ নাও, আর pipeline টা ComfyUI-এর মতো node-এর একটা ক্রমিক list হিসেবে লেখো। প্রতিটা node-এর নাম, input আর output লেখো। তারপর দুটো কারণ দাও, কেন একটা team-এর pipeline টা saved graph file হিসেবে version control-এ রাখা উচিত।