লক্ষ্যটি সম্পূর্ণরূপে অফলাইন তৈরি করে, লাইটওয়েট এআই সহকারী সহ:
<50 এমবি ডাউনলোড আকার
কোনও ইন্টারনেটের প্রয়োজন নেই
দ্রুত প্রতিক্রিয়া (1 সেকেন্ডের নিচে)
জিরো টেলিমেট্রি
সম্পূর্ণ স্থানীয় এম্বেডিংস এবং অনুমান
ফলাফল: একটি 40 এমবি অফলাইন চ্যাটজিপ্ট ক্লোন আপনি ব্রাউজারে বা একটি ইউএসবি স্টিকের উপর চালাতে পারেন।
40 এমবি এর ভিতরে কি? আমি কীভাবে এই জাতীয় ছোট প্যাকেজে বুদ্ধিমান কথোপকথনটি চেপে ধরলাম তা এখানে:
মডেল: মিস্ট্রাল 7 বি কিউ 4_ কে_এম লামা.সিপিপি এর মাধ্যমে কোয়ান্টাইজড
ইনফারেন্স ইঞ্জিন: llama.cpp (ওয়েবসেম্বলি বা নেটিভ সি ++ এ সংকলিত)
ইউআই: লাইটওয়েট প্রতিক্রিয়া/টেলওয়াইন্ড ইন্টারফেস
স্টোরেজ: স্থানীয় চ্যাট ইতিহাসের জন্য ইনডেক্সডডিবি
এম্বেডডিংস: স্মার্ট পিডিএফ বা নোট অনুসন্ধানের জন্য স্থানীয় মিনিল্ম
অতিরিক্ত: স্থানীয় ভয়েস ইনপুট জন্য হুইস্পার.সিপিপি; স্পিচ আউটপুট জন্য কোকুই টিটিএস
আমি কেন এটি তৈরি করেছি আমি (রাজ গুরু যাদব), 16 বছর বয়সী দেব এবং ছাত্র, এটি চেয়েছিল:
কীভাবে এলএলএম আসলে হুডের নীচে কাজ করে তা গভীরভাবে শিখুন
গোপনীয়তা-সম্মান এবং স্থানীয় কিছু তৈরি করুন
প্রমাণ করুন যে এআইকে শক্তিশালী হওয়ার জন্য মেঘের দরকার নেই
অফলাইন ব্যবহারকারীদের (ভারতের অনেক শিক্ষার্থীর মতো) রিয়েল এআই সমর্থন দিন
লো-র্যাম ডিভাইসে মেমরি বাধা চ্যালেঞ্জ করে
ক্ষুদ্র মডেলগুলিতে স্মার্ট জবাবগুলির জন্য প্রম্পট টিউনিং
ব্রাউজারের পারফরম্যান্সের জন্য ওয়েবসেম্বলি অপ্টিমাইজেশন
ছোট টিটিএস/এএসআর মডেলগুলির সাথে অফলাইন ভয়েস + পাঠ্য সংহতকরণ
পারফরম্যান্স (একটি 4 জিবি ল্যাপটপে) ফ্যাক্টুয়াল, কোডিং এবং গণিতের প্রশ্নগুলি শালীনভাবে উত্তর দেয়
অফলাইন পিডিএফগুলি পড়া এবং সংক্ষিপ্তসার
স্থানীয়ভাবে কথোপকথন মনে রাখে
(Al চ্ছিক) উচ্চস্বরে উত্তর দেয়
চূড়ান্ত চিন্তাভাবনা এআই পেওয়াল বা মেঘের পিছনে লক করা উচিত নয়। আমার লক্ষ্য হ’ল স্মার্ট সহায়তাকারীদের প্রত্যেকের হাতে নিয়ে আসা – সম্পূর্ণ অফলাইন, সম্পূর্ণ নিখরচায়, সম্পূর্ণ আপনার।
রাজ গুরু যাদব দিয়ে তৈরি
দেব | 700+ প্রকল্পের নির্মাতা | সবার জন্য খোলা এআই সম্পর্কে উত্সাহী
