হুয়াওয়ের তারকা এআই মডেলটি কীভাবে বার্নআউট, বিশ্বাসঘাতকতা এবং ওপেন সোর্স চুরির ভিত্তিতে নির্মিত হয়েছিল

5 জুলাই, দ্য সত্য-গল্প-পুত্র গিটহাব সংগ্রহশালা প্রকাশিত হয়েছিল, এবং এটি কোনও traditional তিহ্যবাহী কোড সংগ্রহস্থল নয়, কারণ এটিতে কেবল একটি রয়েছে README.md। এটি নোহ পাঙ্গু – হুয়াওয়ের ফ্ল্যাগশিপ এলএলএমের বিকাশের বিবরণ দিয়ে একটি হুইস্ল ব্লোয়ার রিপোর্ট।

এই প্রকল্পটি সম্প্রতি অ্যালিবাবা কিওয়েন মডেলগুলি অনুলিপি করার অভিযোগে অ্যান্টগি দ্বারা অভিযুক্ত করা হয়েছিল – দাবি করেছেন যে হুয়াওয়ের আধিকারিকরা দৃ strongly ়ভাবে অস্বীকার করেছেন। যাইহোক, হুইসেল ব্লোয়ারের ইভেন্টগুলির সংস্করণটি হ্যাটিজির অভিযোগের সাথে একত্রিত হয়ে দেখা যাচ্ছে, যা তীব্র অভ্যন্তরীণ প্রতিযোগিতা এবং চৌর্যবৃত্তির দ্বারা চিহ্নিত একটি তীব্র বিকাশ চক্রকে চিত্রিত করে।

এই নিবন্ধে, আমি এই জাতীয় সংবাদগুলি কীভাবে ওপেন-সোর্স এলএলএমএসের ভবিষ্যতকে প্রভাবিত করে এবং আকার দেয় তা প্রতিফলিত করার জন্য একটি পদক্ষেপ ফিরে নেওয়ার পাশাপাশি এই বিষয়টির মূল বিষয়গুলি কভার করতে চেয়েছিলাম। আপনি যদি এই ধরণের সামগ্রী উপভোগ করেন এবং ওপেন সোর্স ওয়ার্ল্ড থেকে নতুন সংবাদ চান তবে এখন নিউজলেটারে সাবস্ক্রাইব করুন!

দ্রষ্টব্য: ইন্টারনেটগির কাজ ইন্টারনেট থেকে নামানো হয়েছিল, এবং আমি কেন তা খুঁজে পেতে সক্ষম হইনি। (আপনি যদি কোনও অতিরিক্ত তথ্য পেয়ে থাকেন তবে আমাকে জানান))

পাঙ্গু প্রকল্প সম্পর্কে

হুয়াওয়ের পাঙ্গু মডেল, ২০২১ সালে উন্মোচিত, কৃত্রিম গোয়েন্দা আধিপত্যের জন্য চীনের দৌড়ের একটি বড় মাইলফলক হিসাবে অবস্থিত ছিল। প্রকল্পটি হুয়াওয়ের কম্পিউটিং অবকাঠামো এবং গবেষণা সক্ষমতা অর্জনের মাধ্যমে জিপিটি -৩ এর মতো পশ্চিমা বৃহত ভাষার মডেলগুলিকে (এলএলএম) প্রতিদ্বন্দ্বিতা করার লক্ষ্য নিয়েছিল। অভ্যন্তরীণভাবে, এটি কেবল প্রযুক্তিগত প্রচেষ্টা হিসাবে দেখা যায়নি, বরং একটি জাতীয় অগ্রাধিকার হিসাবে দেখা গিয়েছিল – বিশেষত মার্কিন প্রযুক্তি নিষেধাজ্ঞাগুলি বৃদ্ধির অধীনে।

লেখকের মতে, কোর এলএলএম দল (লেখকের নিজস্ব) এবং ছোট মডেল দল সহ একাধিক দল জুড়ে কাজটি বিভক্ত হয়েছিল। যদিও প্রাথমিকভাবে দীর্ঘমেয়াদী গবেষণা উদ্যোগ হিসাবে উপস্থাপিত হয়েছে, প্রকল্পটি দ্রুত ক্রাঞ্চ-নিবিড় উত্পাদন দৌড়ে রূপান্তরিত হয়েছে।

এলএলএম কোর টিম ডেভলপমেন্ট নরক

শুরু থেকেই, হুয়াওয়ের কোর এলএলএম দলটি পাঙ্গু মডেল তৈরিতে খাড়া চড়াই উতরাইয়ের মুখোমুখি হয়েছিল। মার্কিন নিষেধাজ্ঞার কারণে, হুয়াওয়ে বিশ্বমানের এনভিআইডিআইএ জিপিইউ ব্যবহার করা থেকে সীমাবদ্ধ ছিল, তাদের প্রাথমিকভাবে আরোহী চিপগুলির উপর নির্ভর করতে বাধ্য করেছিল-এটি একটি ঘরে ঘরে বিকল্প। এই চিপগুলি বগি এবং অস্থির ছিল এবং তাদের সাথে কাজ করার জন্য মডেল প্রশিক্ষণের ক্ষেত্রে সত্যিকারের অগ্রগতি এমনকি শুরু হওয়ার আগে স্ট্যাকটি স্থিতিশীল করার জন্য প্রচুর ইঞ্জিনিয়ারিং প্রচেষ্টা ব্যয় করার জন্য মূল দলটির প্রয়োজন ছিল।

এটি সত্ত্বেও, দলটি প্রকৃত প্রযুক্তিগত পদক্ষেপ নিয়েছে: 13 বি থেকে 135 বি প্যারামিটার পর্যন্ত ঘন এবং বিশেষজ্ঞদের (এমইই) মডেলগুলির মিশ্রণের বেশ কয়েকটি পুনরাবৃত্তি প্রশিক্ষণ দেয়। এমনকি যখন তারা গুরুতর সমস্যার মুখোমুখি হয়েছিল – যেমন একটি অদক্ষ টোকেনাইজার বা ধসে পড়া 230 বি মডেল – তারা তাদের পদ্ধতির এবং আর্কিটেকচারকে পরিমার্জন করতে থাকে। অবশেষে, তারা একটি সম্পূর্ণ স্ক্র্যাচ 135 বি ঘন মডেল (ভি 3) সরবরাহ করেছিল যা অভ্যন্তরীণভাবে হুয়াওয়ের প্রথম সত্যিকারের প্রতিযোগিতামূলক, সৎ প্রচেষ্টা হিসাবে দেখা হয়েছিল।

135 বি ভি 2 প্রতারণা:

যখন কোর দলের মূল 135 বি মডেল প্রতিযোগীদের পিছনে পিছনে ছিল, তখন ছোট মডেল দলটি দাবি করেছিল যে এটি কয়েক শতাধিক বিলিয়ন টোকেন প্রশিক্ষণের সাথে এটি উন্নত করেছে, নাটকীয় 10-পয়েন্টের মেট্রিক লাভের প্রতিবেদন করেছে।

বাস্তবতা: হুইস্ল ব্লোয়ার অনুসারে, তারা কুইন 1.5 110 বি দ্বারা পুনরায় কল করেছিল:

• স্তরগুলি যুক্ত করা এবং F 135B পরামিতিগুলিতে পৌঁছাতে এফএফএন মাত্রা বাড়ানো
• বৈধতার জন্য পাঙ্গু পিআই পেপার থেকে প্রক্রিয়া সন্নিবেশ করা
• 107 স্তর থেকে 82 স্তর থেকে আর্কিটেকচার পরিবর্তন করা
• ধূমপান বন্দুক: প্যারামিটার বিতরণগুলি প্রায় ঠিক ঠিক ঠিক একইভাবে মিলেছে, মডেল শ্রেণীর নামগুলি এখনও “কুইন” উল্লেখ করছে

পাঙ্গু প্রো মো 72 বি

পরে, ছোট মডেল দলটি দাবি করেছে যে এটি তাদের 7 বি মডেল থেকে স্কেল করা হয়েছিল, তবে প্রমাণগুলি সূচিত করে যে এটি কিউইন 2.5 14 বি এর উপর ভিত্তি করে ছিল। এটি অভ্যন্তরীণ মূল্যায়নে কোর টিমের 38 বি ভি 3 কে দ্রুত ছাড়িয়ে গেছে, যারা সত্যিকারের কাজ করেছেন তাদের হতাশ করে।

ডিপসেক ভি 3 প্রতিক্রিয়া

ডিপসেক ভি 3 এর চিত্তাকর্ষক প্রবর্তনের পরে, ছোট মডেল দলটি অভিযোগ করেছে:

• সরাসরি লোডড ডিপসিকের চেকপয়েন্ট (ডিরেক্টরি নাম অপরিবর্তিত)
• প্যারামিটারগুলি হিমায়িত করুন এবং তাদের নিজস্ব কাজ হিসাবে পুনরায় প্যাকেজড
• কোর টিমের জেনুইন 718 বি মডেলটি এখনও বিকাশের ক্ষেত্রে সহজেই ছাড়িয়ে গেছে

পদ্ধতিগত অন্যায়

হুইস্ল ব্লোয়ার এমন একটি সিস্টেম বর্ণনা করে যেখানে বৈধ কাজটি ধারাবাহিকভাবে ক্ষুন্ন করা হয়েছিল:

মূল দলটি কঠোর প্রক্রিয়াগুলি অনুসরণ করে এবং মডেলগুলি সততার সাথে তৈরি করার সময়, ছোট মডেল দলটি দায়মুক্তি, প্রতিযোগীদের কাজকে পুনরায় প্যাকেজ করে এবং credit ণ গ্রহণের সাথে পরিচালিত হয়েছিল। ম্যানেজমেন্ট সত্যটি জানত তবে এটিকে অনুমতি দিয়েছে কারণ নকল ফলাফলগুলি তাদের উপকৃত করেছে।

এটি ডিপসেক, বাইড্যান্স এবং মুনশট এআইয়ের মতো সংস্থাগুলিতে শীর্ষ প্রতিভা দূরে সরিয়ে নিয়েছে। একজন প্রস্থানকারী সহকর্মী বলেছিলেন: “এই জায়গায় যোগদান করা আমার প্রযুক্তিগত ক্যারিয়ারের সবচেয়ে বড় লজ্জা ছিল।”

একটি পদক্ষেপ পিছনে নেওয়া

যদিও প্রতিটি গল্পের একাধিক দৃষ্টিভঙ্গি রয়েছে এবং এই অ্যাকাউন্টটি হুইসেল ব্লোয়ারের দৃষ্টিভঙ্গির প্রতি ভারী পক্ষপাতদুষ্ট, এটি এআই বিকাশের বর্তমান অবস্থা সম্পর্কে উল্লেখযোগ্য কিছু প্রকাশ করে।

ভূ -রাজনৈতিক চাপ এবং কর্পোরেট প্রতিযোগিতা প্রযুক্তিগত বাস্তবতার সাথে সংঘর্ষে কী ঘটে তা বোঝায় পাঙ্গু অভিযোগগুলি চিত্রিত করে। ফলাফল সরবরাহের জন্য তীব্র চাপের মধ্যে, সংস্থাগুলি সত্যিকারের উদ্ভাবনের চেয়ে উপস্থিতিকে অগ্রাধিকার দিতে পারে – এমন একটি প্যাটার্ন যা এই একক ক্ষেত্রে অনেক বেশি প্রসারিত।

সুতরাং, এটি কি আরও একই রকম? সূর্যের নীচে নতুন কিছু?

আমি দ্বিমত পোষণ করি – কমপক্ষে একটি প্রযুক্তিগত দৃষ্টিকোণ থেকে – কারণ, আমার কাছে এই গল্পটি চলমান এআই রেসের তিনটি আকর্ষণীয় দিক তুলে ধরেছে:

ওপেন-সোর্স মডেলগুলি শেষ পর্যন্ত শীর্ষে আসতে পারেযা এমন এক পৃথিবীতে একটি উল্লেখযোগ্য পরিবর্তন হবে যেখানে বেশিরভাগ অ্যালগরিদম এবং কোড বন্ধ দরজার পিছনে থাকে। এখানে বিড়ম্বনাটি মারাত্মক: হুয়াওয়ের মতো সংস্থাগুলি ওপেন মডেলগুলি পুনরায় প্যাকেজ করে কোণগুলি কেটে ফেলেছে বলে অভিযোগ করা হয়েছে, তারা অজান্তেই প্রকাশ্যভাবে উন্নত সিস্টেমগুলির শ্রেষ্ঠত্ব প্রমাণ করছে।

মডেলগুলির মধ্যে চৌর্যবৃত্তি সনাক্তকরণের পথ সুগম করছে প্রদত্ত মডেলটিতে বিদ্যমান একটির স্বাক্ষর রয়েছে কিনা তা সনাক্ত করা সম্ভব করে। এটি এআই জবাবদিহিতে একটি সত্যিকারের নতুন সীমান্তের প্রতিনিধিত্ব করে – নিউরাল নেটওয়ার্কগুলির জন্য ফরেনসিক বিজ্ঞানের মতো কিছু। প্যারামিটার বিতরণ, স্থাপত্য পছন্দ এবং প্রশিক্ষণের স্বাক্ষরগুলি ট্রেস করার দক্ষতার অর্থ আমরা প্রকৃত মডেল বংশবৃত্তির সাথে সাধারণ পারফরম্যান্সের তুলনা ছাড়িয়ে চলেছি। এই প্রযুক্তিটি পরিপক্ক হওয়ার সাথে সাথে এটি কীভাবে আমরা মডেল বিকাশ সম্পর্কে দাবিগুলি যাচাই করে এবং এআই স্পেসে বৌদ্ধিক সম্পত্তির অধিকার প্রতিষ্ঠা করি তা মৌলিকভাবে পরিবর্তন করতে পারে।

এআই মডেলগুলির প্রশিক্ষণে ডেটা গোপনীয়তা এবং বৌদ্ধিক সম্পত্তিকে সম্বোধন করার ক্ষেত্রে এখনও একটি দীর্ঘ রাস্তা রয়েছে। পাঙ্গু কেসটি প্রকাশ করে যে এই জলগুলি কতটা নকল থেকে যায় – কখন অনুপ্রেরণা অনুকরণে পরিণত হয় এবং কখন অনুকরণ চুরি হয়ে যায়? বর্তমান আইনী কাঠামোগুলি কেবল এমন একটি বিশ্বের জন্য ডিজাইন করা হয়নি যেখানে বিলিয়ন-প্যারামিটার মডেলগুলি বিপরীত ইঞ্জিনিয়ারড, সূক্ষ্ম সুরযুক্ত এবং পুনরায় কল করা যেতে পারে। আমাদের অ্যাট্রিবিউশন, এআই -তে ডেরাইভেটিভ কাজের নতুন ধারণা এবং প্রশিক্ষণ ডেটা এবং মডেল আর্কিটেকচারের সাথে জড়িত থাকার সময় ন্যায্য ব্যবহারকে কী গঠন করে সে সম্পর্কে আরও পরিষ্কার নির্দেশিকাগুলির জন্য আমাদের নতুন মান প্রয়োজন।

পড়ার জন্য ধন্যবাদ! আমি আশা করি পঙ্গু বিতর্কে এই গভীর ডুব আপনাকে এআই বিকাশের বিকশিত প্রাকৃতিক দৃশ্য সম্পর্কে চিন্তাভাবনার জন্য কিছু খাবার দিয়েছে। আপনি যদি এই ধরণের সামগ্রী উপভোগ করেন এবং ওপেন সোর্স ওয়ার্ল্ড থেকে নতুন সংবাদ চান তবে এখন নিউজলেটারে সাবস্ক্রাইব করুন!