ডিপসেক পেপার কীভাবে এটি ওপেনএআইতে 2,048 এনভিডিয়া চিপ ব্যবহার করেছে সে সম্পর্কে নতুন বিশদ সরবরাহ করে

ডিপসেক পেপার কীভাবে এটি ওপেনএআইতে 2,048 এনভিডিয়া চিপ ব্যবহার করেছে সে সম্পর্কে নতুন বিশদ সরবরাহ করে

চাইনিজ কৃত্রিম বুদ্ধিমত্তা (এআই) গবেষণা ল্যাব ডিপসেক প্রথমবারের মতো এটি কীভাবে বিশ্বের অন্যতম শক্তিশালী ওপেন-সোর্স এআই সিস্টেমগুলির একটির প্রতিযোগীদের ব্যয়ের একটি ভগ্নাংশে তৈরি করেছে তা প্রকাশ করে একটি নতুন গবেষণা পত্র প্রকাশ করেছে।

“ডিপসেক-ভি 3 এর অন্তর্দৃষ্টি: এআই আর্কিটেকচারের জন্য হার্ডওয়ারের উপর স্কেলিং চ্যালেঞ্জ এবং প্রতিচ্ছবি”, ডিপসেকের প্রতিষ্ঠাতা লিয়াং ওয়েনফেং সহ-রচনা করেছেন এবং বুধবার প্রকাশিত হয়েছে, প্রশিক্ষণ উচ্চ-পারফরম্যান্স, ব্যয়-দক্ষ এআই সিস্টেমগুলিতে একটি হার্ডওয়্যার-সুইফটওয়্যার সহ-নকশাকৃত পদ্ধতির জন্য স্টার্ট-আপের যুগান্তকারীকে দায়ী করেছেন।

গবেষকরা লিখেছেন, “ডিপসেক-ভি 3, ২,০৪৮ এনভিডিয়া এইচ 800 জিপিইউতে প্রশিক্ষিত, হার্ডওয়্যার-সচেতন মডেল সহ-নকশা কীভাবে কার্যকরভাবে এই চ্যালেঞ্জগুলি সমাধান করতে পারে, ব্যয়-দক্ষ প্রশিক্ষণ এবং স্কেলকে অনুমানকে সক্ষম করে তোলে তা প্রমাণ করে।” ডিপসেক এবং এর হেজ তহবিলের মালিক হাই-ফ্লায়ার এর আগে এইচ 800 মজুদ করেছিলেন, যা এনভিডিয়া মূলত চীন বাজারের জন্য মার্কিন রফতানি নিষেধাজ্ঞাগুলি মেনে চলার জন্য ডিজাইন করা হয়েছিল তবে ২০২৩ সালে রফতানি থেকে দেশে নিষিদ্ধ করা হয়েছিল।
স্টার্ট-আপের প্রশিক্ষণ পদ্ধতির ফলে টিমের হার্ডওয়্যার সীমাবদ্ধতা সম্পর্কে সচেতনতা এবং বৃহত ভাষার মডেলগুলি (এলএলএম) প্রশিক্ষণের “অত্যধিক ব্যয়”-ওপেনএআই এর মতো এআই চ্যাটবটের পিছনে প্রযুক্তি চ্যাটজিপিটি – কাগজ অনুযায়ী।

কাগজটিতে প্রযুক্তিগত অপ্টিমাইজেশনগুলির বিবরণ রয়েছে যা মেমরির দক্ষতা বৃদ্ধি করে, আন্তঃ-চিপ যোগাযোগকে প্রবাহিত করে এবং সামগ্রিক এআই অবকাঠামোগত কর্মক্ষমতা বাড়ায়-স্কেলিং ক্ষমতা স্কেলিংয়ের সময় অপারেশনাল ব্যয় হ্রাস করার মূল অগ্রগতি। এগুলি “পরবর্তী প্রজন্মের এআই সিস্টেমে উদ্ভাবনের জন্য ব্যবহারিক নীলনকশা” সরবরাহ করে, গবেষকরা বলেছিলেন।

ডিপসেক এর মিশ্রণ-বিশেষজ্ঞের (এমইই) মডেল আর্কিটেকচারের ব্যবহারকেও হাইলাইট করেছেন, একটি মেশিন-লার্নিং পদ্ধতির যা একটি এআই মডেলকে পৃথক উপ-নেটওয়ার্ক বা বিশেষজ্ঞদের মধ্যে বিভক্ত করে, প্রতিটি সহযোগিতামূলকভাবে কাজ করার সময় ইনপুট ডেটার একটি উপসেটে ফোকাস করে।

Source link