السلام عليكم ورحمة الله وبركاتـه ...
انا لدي فكره عمل مشروع محرك بحث لمواقع مخصصة ولكن عندما بدأت بالتفكير كيف عمل المحرك وجدت صعوبة.
فالفكره التي برأسي , جلب محتويات الصفحات من المواقع المخصصه وادخالها بقاعدة البيانات لدي . ولكن وجدت صعوبه بالغة بتمييز النصوص واخذ ماريد وحذف الباقي .
اضافة الى ذلك, لم اجد طريقة لعدم تكرار البيانات داخل القاعدة مع كل مره يتم اخذ نسخه من البيانات .
الفكره الثانية استخدام خدمة قوقل "محرك بحث مخصص"
ولكن الخدمة تنقل الزائر خارج موقعي وهذا لا اريده .
مع العلم اني استخدم PHP لمشروعـي .
وافضل فكره مطابقه لفكرتـي موقع فتوى
منتظر اقتراحاتكم .
التعليقات
هناك محرك بحث مفتوح المصدر مبني بالجافا اسمه elasticsearch
تجد التفاصيل هنا...
مبدئيا لن تستطيع المقارنة بين الجديد والقديم وانت تخزن البيانات باالنص الكامل عليك تخزينها بشكل مفصل اي انها لو مواقع اخبار مثلا خزنها كجدول للعناوين واخر محتوى المقالات حاول ان تجنب قواعد البيانات مقارنة النصوص الطويلة
هل هذه المواقع توفر RSS (الخلاصات)
1- لو الاجابة بنعم فالموضوع سهل مجرد قراءة الـ RSS
2- لو الاجابة بلا فستحتاج Web crawler - أداة تكتبها لكل موقع (طبعا لو عدد المواقع ليس بالكبير) ليستخلص المحتوى المهم أي (بريمج) تكتبه بناءا على هيكلة الصفحات عيب هذا الطريقة انه كلما تغيرت صفحة الموقع المصدر احتجت لتعديل (البريمج)
3- أو ان تبرمج Web Spiders - معتمدة على الذكاء الصناعي
ابحث بالنت عن Readability
سوف تفرح بها كثيرا ....