শ্রেণিবদ্ধ মডেলিং – কার্টেসিয়া

আজ ব্যবহারের সেরা এআই আর্কিটেকচারগুলি সমস্ত ইনপুটকে সমানভাবে চিকিত্সা করে। তারা উচ্চ স্তরের ধারণাগুলিতে সুস্পষ্টভাবে সম্পর্কিত ইনপুটগুলিকে গ্রুপিং না করে একই পরিমাণ গণনা সহ প্রতিটি ইনপুট প্রক্রিয়া করে। যদিও এই আর্কিটেকচারগুলি ডোমেনগুলি জুড়ে চিত্তাকর্ষক ফলাফল অর্জন করেছে, তবে এই শ্রেণিবিন্যাসের অভাবের কিছু মৌলিক সীমাবদ্ধতা রয়েছে।

• মডেলগুলি উচ্চ রেজোলিউশন, কাঁচা ডেটা থেকে শিখতে অসুবিধা হয়, শক্তিশালী পারফরম্যান্সের জন্য অর্থবহ টোকেনগুলিতে প্রাক-প্রক্রিয়াজাত করা প্রয়োজন।

• হস্তনির্মিত প্রাক-প্রক্রিয়াজাতকরণ পদক্ষেপগুলির (যেমন টোকেনাইজেশন) ব্যবহারগুলি ইনপুট ডেটাতে ছোট ছোট ছোট্ট পার্টউবেশনগুলির সাথে অপ্রত্যাশিতভাবে ব্যর্থ হতে পারে।

• মডেলগুলি টোকেনগুলিতে গণনা নষ্ট করে দেয় যা পূর্বাভাস দেওয়া সহজ এবং তথ্যবহুল নয়।

আরও গুরুত্বপূর্ণ বিষয়, তথ্য মৌলিকভাবে শ্রেণিবদ্ধ। ভাষায়, ধারণাগুলি চরিত্র, শব্দ, বাক্য এবং অনুচ্ছেদে অন্তর্ভুক্ত করা হয়; চিত্রগুলিতে, পিক্সেলগুলি প্রান্ত, আকার এবং অবজেক্টগুলিতে জড়িত থাকে; অডিওতে, কাঁচা তরঙ্গরূপগুলি ফোনমেস, বাক্য এবং কথোপকথনে পরিণত হয়। মানুষ হিসাবে, আমরা কাঁচা তথ্য গ্রহণ করি এবং এটি অর্থবহ উপায়ে গোষ্ঠী করি যা আমাদের নিম্ন স্তরের ইউনিট থেকে উচ্চ স্তরের ধারণাগুলিতে বিভিন্ন স্তরে বিমূর্ততার বিভিন্ন স্তরে সংযোগ স্থাপন করতে এবং সংযোগ স্থাপনের অনুমতি দেয়। এটি বুদ্ধিমত্তার মূল। আমরা বিশ্বাস করি শ্রেণিবদ্ধ মডেলগুলি আজকের স্থাপত্যগুলির বেশ কয়েকটি মৌলিক সীমাবদ্ধতা এবং ত্রুটিগুলি সম্বোধন করবে।

আমরা আমাদের সর্বশেষ গবেষণা সহযোগিতা ঘোষণা করতে আগ্রহী শ্রেণিবদ্ধ নেটওয়ার্ক (এইচ-নেট)একটি নতুন আর্কিটেকচার যা স্থানীয়ভাবে কাঁচা ডেটা থেকে শ্রেণিবিন্যাসের মডেল করে। এইচ-নেট আর্কিটেকচারের মূলটি একটি গতিশীল চঙ্কিং প্রক্রিয়া যা মডেলিংয়ের জন্য অর্থবহ ধারণাগুলিতে কাঁচা ডেটা বিভাগ এবং সংকুচিত করতে শিখেছে। এটিতে তিনটি উপাদান রয়েছে: একটি এনকোডার নেটওয়ার্ক, প্রধান নেটওয়ার্ক এবং একটি ডিকোডার নেটওয়ার্ক। এনকোডার নেটওয়ার্কের মূলটি একটি রাউটিং মডিউল, যা অর্থপূর্ণ খণ্ডগুলির গোষ্ঠীগুলির পূর্বাভাস দেওয়ার জন্য একটি মিল স্কোর ব্যবহার করে যা একসাথে গোষ্ঠীভুক্ত করা উচিত এবং মূল নেটওয়ার্কের জন্য সংকুচিত হওয়া উচিত। মূল নেটওয়ার্কটি সিকোয়েন্স মডেলের যে কোনও ক্রম হতে পারে এবং এই উচ্চ স্তরের খণ্ডগুলির উপর টোকেন পূর্বাভাসের জন্য দায়ী। শেষ অবধি, ডিকোডার নেটওয়ার্ক স্ট্যাবিলাইজিং শেখার জন্য একটি স্মুথিং মডিউল সহ কাঁচা ডেটাতে ফিরে ডিকোড করতে শিখেছে।

এইচ-নেট ভাষার মডেলিংয়ে তিনটি গুরুত্বপূর্ণ ফলাফল প্রদর্শন করে:

• এইচ-নেটগুলি বিপিই টোকেনাইজেশন সহ অত্যাধুনিক ট্রান্সফর্মারগুলির চেয়ে ডেটা সহ আরও ভাল স্কেল করে, যখন কাঁচা বাইটগুলি থেকে সরাসরি শিখতে থাকে। এই উন্নত স্কেলিংটি চীনা, কোড এবং ডিএনএর মতো প্রাকৃতিক টোকেনাইজেশন সীমানা ছাড়াই ডোমেনগুলিতে আরও বেশি প্রকট।

• গভীর শ্রেণিবদ্ধতা থেকে শিখতে এইচ-নেটগুলি একসাথে স্ট্যাক করা যেতে পারে, যা কর্মক্ষমতা আরও উন্নত করে।

• এইচ-নেটগুলি কেসিংয়ের মতো ইনপুট ডেটাতে ছোট ছোট বিশৃঙ্খলার পক্ষে উল্লেখযোগ্যভাবে আরও দৃ ust

এই গবেষণায় আমাদের বিনিয়োগ হ’ল মাল্টিমোডাল, অত্যন্ত দক্ষ এবং যুক্তিযুক্ত এবং দীর্ঘ দিগন্তের উন্নতি উন্নত করার জন্য এআই মডেলগুলির পরবর্তী প্রজন্ম তৈরি করার জন্য আমাদের বৃহত্তর ধাক্কার অংশ। রাজ্য স্পেস মডেলগুলি আমাদের প্রথম গবেষণা অগ্রগতির প্রতিনিধিত্ব করে, রাষ্ট্রীয় মডেলগুলি সক্ষম করে যা দীর্ঘ প্রসঙ্গে তথ্য সংকুচিত করতে পারে। আমরা বিশ্বাস করি এইচ-নেট এবং শ্রেণিবদ্ধ মডেলিং, এআই-তে মৌলিক চ্যালেঞ্জগুলি মোকাবেলার মূল পদক্ষেপ:

• মাল্টিমোডাল বোঝাপড়া এবং প্রজন্ম: মাল্টিমোডাল মডেলিংয়ের একটি মূল চ্যালেঞ্জ হ’ল একাধিক ডেটা ফিউজ করছে। এটি আজ একটি কঠিন, যেহেতু বিভিন্ন পদ্ধতিগুলি বিভিন্ন হারে টোকেনাইজ করা হয়। উদাহরণস্বরূপ, ভাষাটি সাবওয়ার্ডগুলিতে টোকেনাইজ করা হয়, যখন অডিও কাঁচা তরঙ্গরূপ বা ডাউনস্যাম্পলড কোডেক হিসাবে টোকেনাইজ করা হয়। এটি তাদের যৌথভাবে মডেল করা কঠিন করে তোলে। এইচ-নেট এর মতো শ্রেণিবদ্ধ মডেলগুলি এই মাল্টিমোডাল স্ট্রিমগুলিকে একটি উচ্চ বিমূর্ততা স্তরে ফিউজ করার জন্য একটি প্রতিশ্রুতিবদ্ধ পথ সরবরাহ করে, যা আরও ভাল স্থানান্তর, যুক্তি এবং বোঝাপড়াগুলি জুড়ে বোঝার সক্ষম করে।

• দীর্ঘ-প্রসঙ্গ যুক্তি: এইচ-নেটগুলি বিমূর্ততার উচ্চ স্তরে শব্দার্থগতভাবে অর্থবহ ইউনিটগুলিতে তথ্যকে ছিটকে দিয়ে দীর্ঘ প্রসঙ্গ যুক্তিটি আনলক করে। এই সংকোচনের ফলে মডেলগুলির পক্ষে বৃহত্তর ইনপুটগুলি জুড়ে বিশেষত গভীর এবং গভীর শ্রেণিবিন্যাসের সাথে যুক্ত হওয়া সহজ করে তোলে। শ্রেণিবদ্ধ আর্কিটেকচারগুলি এমন মডেলগুলিকে সক্ষম করবে যা তাদের পরিবেশকে কাঁচা তথ্য থেকে বোঝে এবং দীর্ঘ দিগন্তের উপর বিমূর্ততার উপযুক্ত স্তরে যুক্তি থেকে তাদের পরিবেশকে বোঝে।

• দক্ষ প্রশিক্ষণ এবং অনুমান: আজকের আর্কিটেকচারগুলি প্রতিটি টোকেনের জন্য একই পরিমাণ গণনা ব্যবহার করে, যদিও কিছু টোকেন অন্যদের তুলনায় কম তথ্যমূলক এবং ভবিষ্যদ্বাণী করা সহজ। অনুমানের সময় অপ্টিমাইজেশনগুলি, যেমন অনুমানমূলক ডিকোডিংয়ের মতো, টোকেনগুলির পূর্বাভাস দেওয়া সহজে গণনা গতি বাড়ানোর জন্য এই সম্পত্তিটি কাজে লাগান। এইচ-নেট দিয়ে, এটি সরাসরি আর্কিটেকচারে নির্মিত হয়, টোকেনগুলি পরিচালনা করে যা লাইটওয়েট এনকোডার এবং ডিকোডার মডিউলগুলির সাথে ভবিষ্যদ্বাণী করা সহজ।

আরও তথ্যের জন্য, আমাদের সম্পূর্ণ প্রিপ্রিন্টটি পড়ুন আরক্সিভ। আমরা এইচ-নেট 2-পর্যায়ের এক্সএল, এইচ-নেট 1-পর্যায়ের এক্সএল, এবং এইচ-নেট 1-স্টেজ এল এর জন্য চেকপয়েন্টগুলিও প্রকাশ করেছি আলিঙ্গনফেস।

আপনি যদি এই নতুন মডেলগুলি স্কেল সরবরাহ করতে আর্কিটেকচার গবেষণা এবং বিল্ডিং সিস্টেম এবং অবকাঠামো সম্পর্কে ভবিষ্যত সম্পর্কে উত্সাহিত হন তবে দয়া করে পৌঁছান!