OpenSPG/KAG: KAG হল একটি যৌক্তিক ফর্ম-নির্দেশিত যুক্তি এবং পুনরুদ্ধার কাঠামো OpenSPG ইঞ্জিন এবং LLM-এর উপর ভিত্তি করে। এটি পেশাদার ডোমেন জ্ঞান বেসগুলির জন্য যৌক্তিক যুক্তি এবং বাস্তবিক প্রশ্নোত্তর সমাধান তৈরি করতে ব্যবহৃত হয়। এটি কার্যকরভাবে ঐতিহ্যগত RAG ভেক্টর সাদৃশ্য গণনা মডেলের ত্রুটিগুলি কাটিয়ে উঠতে পারে।

OpenSPG/KAG: KAG হল একটি যৌক্তিক ফর্ম-নির্দেশিত যুক্তি এবং পুনরুদ্ধার কাঠামো OpenSPG ইঞ্জিন এবং LLM-এর উপর ভিত্তি করে। এটি পেশাদার ডোমেন জ্ঞান বেসগুলির জন্য যৌক্তিক যুক্তি এবং বাস্তবিক প্রশ্নোত্তর সমাধান তৈরি করতে ব্যবহৃত হয়। এটি কার্যকরভাবে ঐতিহ্যগত RAG ভেক্টর সাদৃশ্য গণনা মডেলের ত্রুটিগুলি কাটিয়ে উঠতে পারে।


ইংরেজি |
সরলীকৃত চীনা |
জাপানি সংস্করণ নথি



সর্বশেষ রিলিজ


লাইসেন্স

KAG একটি যৌক্তিক যুক্তি এবং প্রশ্নোত্তর কাঠামোর উপর ভিত্তি করে ওপেনএসপিজি ইঞ্জিন এবং বৃহৎ ভাষার মডেল, যা উল্লম্ব ডোমেন জ্ঞান বেসগুলির জন্য যৌক্তিক যুক্তি এবং প্রশ্নোত্তর সমাধান তৈরি করতে ব্যবহৃত হয়। KAG কার্যকরভাবে ঐতিহ্যগত RAG ভেক্টর সাদৃশ্য গণনার অস্পষ্টতা এবং OpenIE দ্বারা প্রবর্তিত GraphRAG-এর গোলমাল সমস্যা কাটিয়ে উঠতে পারে। KAG যৌক্তিক যুক্তি এবং মাল্টি-হপ ফ্যাক্ট প্রশ্নোত্তর ইত্যাদি সমর্থন করে এবং বর্তমান SOTA পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে ভালো।

কেএজি-র লক্ষ্য হল পেশাদার ডোমেনে একটি জ্ঞান-বর্ধিত এলএলএম পরিষেবা কাঠামো তৈরি করা, যৌক্তিক যুক্তি সমর্থন করে, বাস্তবসম্মত প্রশ্নোত্তর ইত্যাদি। এর মূল বৈশিষ্ট্যগুলির মধ্যে রয়েছে:

  • জ্ঞান এবং খণ্ড মিউচুয়াল ইনডেক্সিং কাঠামো আরও সম্পূর্ণ প্রাসঙ্গিক পাঠ্য তথ্য সংহত করতে
  • ওপেনআইই দ্বারা সৃষ্ট শব্দ সমস্যা দূর করার জন্য ধারণাগত শব্দার্থিক যুক্তি ব্যবহার করে জ্ঞান সারিবদ্ধকরণ
  • ডোমেন বিশেষজ্ঞ জ্ঞানের উপস্থাপনা এবং নির্মাণকে সমর্থন করার জন্য স্কিমা-সীমাবদ্ধ জ্ঞান নির্মাণ
  • যৌক্তিক ফর্ম-নির্দেশিত হাইব্রিড যুক্তি এবং যৌক্তিক যুক্তি এবং বহু-হপ যুক্তি প্রশ্নোত্তর সমর্থন করার জন্য পুনরুদ্ধার

⭐️ উত্তেজনাপূর্ণ নতুন বৈশিষ্ট্য এবং উন্নতির সাথে আপ-টু-ডেট থাকার জন্য আমাদের সংগ্রহস্থলকে স্টার করুন! নতুন রিলিজের জন্য তাত্ক্ষণিক বিজ্ঞপ্তি পান! 🌟

তারকা এবং

2.1 জ্ঞান প্রতিনিধিত্ব

ব্যক্তিগত জ্ঞানের ভিত্তির পরিপ্রেক্ষিতে, অসংগঠিত ডেটা, কাঠামোগত তথ্য এবং ব্যবসায়িক বিশেষজ্ঞের অভিজ্ঞতা প্রায়ই সহাবস্থান করে। এসপিজি-কে এলএলএম-এর জন্য বন্ধুত্বপূর্ণ সংস্করণে আপগ্রেড করার জন্য KAG DIKW অনুক্রমের উল্লেখ করে।

সংবাদ, ঘটনা, লগ এবং বইয়ের মতো অসংগঠিত ডেটার পাশাপাশি ব্যবসায়িক অভিজ্ঞতা এবং ডোমেন জ্ঞানের নিয়মগুলির সাথে লেনদেন, পরিসংখ্যান এবং অনুমোদনের মতো কাঠামোগত ডেটার জন্য, KAG লেআউট বিশ্লেষণ, জ্ঞান নিষ্কাশন, সম্পত্তি স্বাভাবিককরণের মতো কৌশলগুলি নিয়োগ করে। এবং একটি ইউনিফাইড ব্যবসায়িক জ্ঞান গ্রাফে কাঁচা ব্যবসার ডেটা এবং বিশেষজ্ঞের নিয়মগুলিকে একীভূত করার জন্য শব্দার্থিক প্রান্তিককরণ।

এবং ডায়াগ্রাম

এটি একই জ্ঞানের ধরন (যেমন জি., সত্তার ধরন, ইভেন্টের ধরন) উপর স্কিমা-মুক্ত তথ্য নিষ্কাশন এবং স্কিমা-সীমাবদ্ধ দক্ষতা নির্মাণের সাথে সামঞ্জস্যপূর্ণ করে তোলে এবং গ্রাফ কাঠামো এবং মূল পাঠ্য ব্লকের মধ্যে ক্রস-সূচক উপস্থাপনাকে সমর্থন করে। .

এই পারস্পরিক সূচক উপস্থাপনা গ্রাফ কাঠামোর উপর ভিত্তি করে উল্টানো সূচক নির্মাণে সহায়ক, এবং যৌক্তিক ফর্মগুলির একীভূত উপস্থাপনা এবং যুক্তি প্রচার করে।

2.2 লজিক ফর্ম দ্বারা পরিচালিত মিশ্র যুক্তি

লজিক্যাল ফর্ম সমাধানকারী

কেএজি একটি যৌক্তিকভাবে আনুষ্ঠানিক নির্দেশিত হাইব্রিড সমাধান এবং অনুমান ইঞ্জিন প্রস্তাব করে।

ইঞ্জিনে তিন ধরণের অপারেটর রয়েছে: পরিকল্পনা, যুক্তি এবং পুনরুদ্ধার, যা ভাষা এবং স্বরলিপিকে একত্রিত করে এমন সমস্যা সমাধানের প্রক্রিয়াগুলিতে প্রাকৃতিক ভাষা সমস্যাগুলিকে রূপান্তরিত করে।

এই প্রক্রিয়ায়, প্রতিটি ধাপ বিভিন্ন অপারেটর ব্যবহার করতে পারে, যেমন সঠিক মিল পুনরুদ্ধার, পাঠ্য পুনরুদ্ধার, সংখ্যাসূচক গণনা বা শব্দার্থিক যুক্তি, যাতে চারটি ভিন্ন সমস্যা সমাধানের প্রক্রিয়াগুলির একীকরণ উপলব্ধি করা যায়: পুনরুদ্ধার, জ্ঞান গ্রাফ যুক্তি, ভাষার যুক্তি এবং সংখ্যাসূচক গণনা। .

  • 2024.11.21 : সাপোর্ট ওয়ার্ড ডক্স আপলোড, মডেল ইনভোক কনকারেন্সি সেটিং, ইউজার এক্সপেরিয়েন্স অপ্টিমাইজেশান ইত্যাদি।
  • 2024.10.25 : কেএজি প্রাথমিক প্রকাশ
  • ডোমেন নলেজ ইনজেকশন, ডোমেন স্কিমা কাস্টমাইজেশন, কিউএফএস টাস্ক সাপোর্ট, ভিজ্যুয়াল ক্যোয়ারী অ্যানালাইসিস ইত্যাদি।
  • লজিক্যাল যুক্তি অপ্টিমাইজেশান, কথোপকথন কাজ সমর্থন
  • kag-মডেল রিলিজ, ঘটনা যুক্তি জ্ঞান গ্রাফ এবং চিকিৎসা জ্ঞান গ্রাফ জন্য kag সমাধান
  • kag ফ্রন্ট-এন্ড ওপেন সোর্স, ডিস্ট্রিবিউটেড বিল্ড সাপোর্ট, গাণিতিক যুক্তি অপ্টিমাইজেশান

4.1 পণ্য-ভিত্তিক (সাধারণ ব্যবহারকারীদের জন্য)

4.1.1 ইঞ্জিন এবং নির্ভরশীল ইমেজ ইনস্টলেশন

docker-compose.yml ফাইলটি ডাউনলোড করতে এবং Docker Compose দিয়ে পরিষেবাগুলি চালু করতে নিম্নলিখিত কমান্ডগুলি ব্যবহার করুন৷

# set the HOME environment variable (only Windows users need to execute this command)
# set HOME=%USERPROFILE%

curl -sSL https://raw.githubusercontent.com/OpenSPG/openspg/refs/heads/master/dev/release/docker-compose-west.yml -o docker-compose-west.yml
docker compose -f docker-compose-west.yml up -d

আপনার ব্রাউজার দিয়ে KAG পণ্যের ডিফল্ট url-এ নেভিগেট করুন: http://127.0.0.1:8887

দেখুন পণ্য মোডের জন্য দ্রুত শুরু বিস্তারিত পরিচয়ের জন্য।

4.2 টুলকিট-ভিত্তিক (ডেভেলপারদের জন্য)

4.2.1 ইঞ্জিন এবং নির্ভরশীল ইমেজ ইনস্টলেশন

ইঞ্জিন এবং নির্ভরশীল চিত্রের ইনস্টলেশন সম্পূর্ণ করতে 3.1 বিভাগটি পড়ুন।

4.2.2 KAG ইনস্টলেশন

macOS / Linux ডেভেলপার

# Create conda env: conda create -n kag-demo python=3.10 && conda activate kag-demo

# Clone code: git clone https://github.com/OpenSPG/KAG.git

# Install KAG: cd KAG && pip install -e .

উইন্ডোজ ডেভেলপার

# Install the official Python 3.8.10 or later, install Git.

# Create and activate Python venv: py -m venv kag-demo && kag-demo\Scripts\activate

# Clone code: git clone https://github.com/OpenSPG/KAG.git

# Install KAG: cd KAG && pip install -e .

অনুগ্রহ করে দেখুন বিকাশকারী মোডের জন্য দ্রুত শুরু করুন টুলকিটের বিস্তারিত পরিচয়ের জন্য গাইড। তারপরে আপনি অন্তর্নির্মিত ডেটাসেটের কার্যকারিতা ফলাফলগুলি পুনরুত্পাদন করতে অন্তর্নির্মিত উপাদানগুলি ব্যবহার করতে পারেন এবং সেই উপাদানগুলিকে নতুন ব্যবসায়িক পরিস্থিতিতে প্রয়োগ করতে পারেন।

কেএজি প্রযুক্তিগত স্থাপত্য

কেএজি ফ্রেমওয়ার্কের তিনটি অংশ রয়েছে: কেজি-বিল্ডার, কেজি-সলভার এবং কাগ-মডেল। এই রিলিজে শুধুমাত্র প্রথম দুটি অংশ জড়িত, কাগ-মডেলটি ভবিষ্যতে ধীরে ধীরে ওপেন সোর্স রিলিজ হবে।

kg-নির্মাতা একটি জ্ঞান উপস্থাপনা প্রয়োগ করে যা বড়-স্কেল ভাষা মডেলের (LLM) জন্য বন্ধুত্বপূর্ণ। ডিআইকেডব্লিউ (ডেটা, তথ্য, জ্ঞান এবং প্রজ্ঞা) এর শ্রেণিবদ্ধ কাঠামোর উপর ভিত্তি করে, আইটি এসপিজি জ্ঞান উপস্থাপন করার ক্ষমতাকে আপগ্রেড করে এবং স্কিমা সীমাবদ্ধতা ছাড়াই তথ্য নিষ্কাশনের সাথে সামঞ্জস্যপূর্ণ এবং একই জ্ঞানের ধরণের (যেমন সত্তার ধরন) স্কিমা সীমাবদ্ধতার সাথে পেশাদার জ্ঞান নির্মাণের সাথে সামঞ্জস্যপূর্ণ। এবং ইভেন্টের ধরন), এটি গ্রাফ কাঠামো এবং মূল পাঠ্য ব্লকের মধ্যে পারস্পরিক সূচক উপস্থাপনাকেও সমর্থন করে, যা দক্ষ যুক্তি প্রশ্ন এবং উত্তর পর্যায়ে পুনরুদ্ধার.

kg-solver একটি লজিক্যাল প্রতীক-নির্দেশিত হাইব্রিড সমাধান এবং যুক্তি ইঞ্জিন ব্যবহার করে যেটিতে তিন ধরনের অপারেটর রয়েছে: পরিকল্পনা, যুক্তি এবং পুনরুদ্ধার, প্রাকৃতিক ভাষার সমস্যাগুলিকে একটি সমস্যা-সমাধান প্রক্রিয়ায় রূপান্তর করতে যা ভাষা এবং প্রতীকগুলিকে একত্রিত করে। এই প্রক্রিয়ায়, প্রতিটি ধাপ বিভিন্ন অপারেটর ব্যবহার করতে পারে, যেমন সঠিক মিল পুনরুদ্ধার, পাঠ্য পুনরুদ্ধার, সংখ্যাসূচক গণনা বা শব্দার্থিক যুক্তি, যাতে চারটি ভিন্ন সমস্যা সমাধানের প্রক্রিয়াগুলির একীকরণ উপলব্ধি করা যায়: পুনরুদ্ধার, জ্ঞান গ্রাফ যুক্তি, ভাষার যুক্তি এবং সংখ্যাসূচক গণনা। .

গিটহাব: https://github.com/OpenSPG/KAG

ওপেনএসপিজি: https://spg.openkg.cn/

আমাদের সাথে যোগাযোগ করুন: OpenSPG QR-কোড

KAG ভূমিকা এবং অ্যাপ্লিকেশন: https://github.com/orgs/OpenSPG/discussions/52

আপনি যদি এই সফ্টওয়্যারটি ব্যবহার করেন তবে অনুগ্রহ করে এটি নীচের মতো উল্লেখ করুন:

@articleliang2024kag,
  title=KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation,
  author=Liang, Lei and Sun, Mengshu and Gui, Zhengke and Zhu, Zhongshu and Jiang, Zhouyu and Zhong, Ling and Qu, Yuan and Zhao, Peilong and Bo, Zhongpu and Yang, Jin and others,
  journal=arXiv preprint arXiv:2409.13731,
  year=2024


@articleyikgfabric,
  title=KGFabric: A Scalable Knowledge Graph Warehouse for Enterprise Data Interconnection,
  author=Yi, Peng and Liang, Lei and Da Zhang, Yong Chen and Zhu, Jinye and Liu, Xiangyu and Tang, Kun and Chen, Jialin and Lin, Hao and Qiu, Leijie and Zhou, Jun

অ্যাপাচি লাইসেন্স 2.0



Source link