আমার 2.5 বছরের পুরানো ল্যাপটপ GLM-4.5 এয়ার এবং এমএলএক্স ব্যবহার করে এখনই জাভাস্ক্রিপ্টে স্পেস আক্রমণকারীদের লিখতে পারে
29 জুলাই 2025
আমি গতকাল নতুন জিএলএম -4.5 মডেল পরিবার সম্পর্কে লিখেছি-নতুন ওপেন ওজন (এমআইটি লাইসেন্সযুক্ত) মডেলগুলি থেকে Z.ai চীনে যা তাদের মানদণ্ডগুলি ক্লড সোননেট 4 এর মতো মডেলের বিরুদ্ধে কোডিংয়ে উচ্চ স্কোর দাবি করে।
মডেলগুলি বেশ বড়-ছোট জিএলএম -4.5 এয়ার মডেলটি এখনও 106 বিলিয়ন মোট পরামিতি, যা 205.78 গিগাবাইট আলিঙ্গন মুখ।
ইভান ফিয়েরাবন্তী নির্মিত এই এমএলএক্সের জন্য 44 জিবি 3 বিট কোয়ান্টাইজড সংস্করণবিশেষত আকারের যাতে 64 জিবি মেশিনযুক্ত লোকেরা এটি চালানোর সুযোগ পেতে পারে। আমি এটি চেষ্টা করে দেখেছি … এবং এটি কাজ করে অত্যন্ত ভাল।
আমি এটি নিম্নলিখিত প্রম্পট খাওয়ানো:
Write an HTML and JavaScript page implementing space invaders
এবং এটি কিছুক্ষণের জন্য মন্থন করে নিম্নলিখিতগুলি তৈরি করেছে:
স্পষ্টতই এটি একটি বিশেষ অভিনব উদাহরণ নয়, তবে আমি এখনও মনে করি এটি লক্ষণীয় যে আমার 2.5 বছরের পুরানো ল্যাপটপে চলমান একটি মডেল (একটি 64 জিবি ম্যাকবুক প্রো এম 2) এই জাতীয় কোড তৈরি করতে সক্ষম হয়েছে – বিশেষত কোড যা আর কোনও সম্পাদনার প্রয়োজন ছাড়াই প্রথমবারের মতো কাজ করে।
আমি কীভাবে মডেল চালিয়েছি
আমাকে বর্তমান ব্যবহার করে এটি চালাতে হয়েছিল main শাখা এমএলএক্স-এলএম গ্রন্থাগার (আমার কাছে ছিল তা নিশ্চিত করার জন্য) এই প্রতিশ্রুতিবদ্ধ যোগ করা glm4_moe সমর্থন)। আমি যে ব্যবহার করছি ইউভি এটি পছন্দ:
uv run \
--with 'https://github.com/ml-explore/mlx-lm/archive/489e63376b963ac02b3b7223f778dbecc164716b.zip' \
pythonতারপরে সেই পাইথন দোভাষীতে আমি এমএলএক্স মডেলগুলি চালানোর জন্য স্ট্যান্ডার্ড রেসিপিটি ব্যবহার করেছি:
from mlx_lm import load, generate model, tokenizer = load("mlx-community/GLM-4.5-Air-3bit")
এটি আমার 44 জিবি মডেল ওজন ডাউনলোড করেছে ~/.cache/huggingface/hub/models--mlx-community--GLM-4.5-Air-3bit ফোল্ডার
তারপরে:
prompt = "Write an HTML and JavaScript page implementing space invaders" messages = ({"role": "user", "content": prompt}) prompt = tokenizer.apply_chat_template( messages, add_generation_prompt=True ) response = generate( model, tokenizer, prompt=prompt, verbose=True, max_tokens=8192 )
প্রতিক্রিয়া এইভাবে শুরু হয়েছিল:
<think>ব্যবহারকারী চান যে আমি এইচটিএমএল, সিএসএস এবং জাভাস্ক্রিপ্ট ব্যবহার করে একটি স্পেস আক্রমণকারী গেম তৈরি করব। নিম্নলিখিত বৈশিষ্ট্যগুলি সহ আমার একটি সম্পূর্ণ, কার্যকরী গেম তৈরি করতে হবে:
- প্লেয়ার স্পেসশিপ যা বাম/ডানদিকে যেতে পারে এবং গুলি করতে পারে
- শত্রু আক্রমণকারীরা যা গঠন এবং পিছনে গুলি চালায়
- স্কোর ট্র্যাকিং
- জীবন/স্বাস্থ্য ব্যবস্থা
- শর্তের উপর খেলা (…)
এর পরে এইচটিএমএল এবং এই ডিবাগিং আউটপুট:
Prompt: 14 tokens, 14.095 tokens-per-sec
Generation: 4193 tokens, 25.564 tokens-per-sec
Peak memory: 47.687 GB
আপনি দেখতে পারেন এখানে সম্পূর্ণ প্রতিলিপিবা দেখুন গিটহাবের উত্সঅথবা এটি আপনার ব্রাউজারে চেষ্টা করে দেখুন।
ভাল পরিমাপের জন্য একটি পেলিকান
আমি গতকাল পুরো আকারের মডেলগুলির বিরুদ্ধে আমার পেলিকান বেঞ্চমার্কটি চালিয়েছি, তবে আমি এই ছোট 3 বিট মডেলের বিরুদ্ধে এটি চেষ্টা করে প্রতিরোধ করতে পারি না। আমি যা পেয়েছি তা এখানে "Generate an SVG of a pelican riding a bicycle"::
এখানে যে জন্য প্রতিলিপি।
উভয় ক্ষেত্রেই মডেলটি প্রায় 48 গিগাবাইট র্যামকে শীর্ষে ব্যবহার করেছিল, আমাকে অন্য সব কিছুর জন্য মাত্র 16 জিবি রেখে দিয়েছে – মডেলটি চালানোর জন্য আমাকে বেশ কয়েকটি অ্যাপ্লিকেশন ছাড়তে হয়েছিল তবে এটি চলার পরে গতিটি বেশ ভাল ছিল।
স্থানীয় কোডিং মডেলগুলি এখন সত্যিই ভাল
এটি আকর্ষণীয় যে 2025 সালে প্রকাশিত প্রায় প্রতিটি মডেল কীভাবে বিশেষভাবে কোডিংকে লক্ষ্য করে। এই ফোকাসটি স্পষ্টভাবে পরিশোধ করা হয়েছে: এই কোডিং মডেলগুলি পাচ্ছে সত্যিই ভাল এখন।
দু’বছর আগে যখন আমি প্রথম লামার চেষ্টা করেছি আমি কখনই চেষ্টা করি না স্বপ্ন দেখেছি আমি তখন একই ল্যাপটপটি ব্যবহার করছিলাম যে একদিন আমি জিএলএম 4.5 এয়ার – এবং মিস্ট্রাল 3.2 ছোট, এবং জেমমা 3, এবং কুইন 3, এবং গত ছয় মাস ধরে উদ্ভূত অন্যান্য উচ্চমানের মডেলগুলির একটি হোস্টের কাছ থেকে যা দেখছি তার মতো শক্তিশালী মডেলগুলি চালাতে সক্ষম হবে।
