مرحباً.
المشروع عبارة عن محرك بحث صور، يولد توصيف نصي للصور المرفوعة عليه ثم دخل المستخدم جملة بحث، تتم معالجتها ومطابقتها مع الصور في قاعدة البيانات ومن ثم جلب الصور التي تشابه الوصف، المشروع لا يزال في بدايته وهذا فقط demo.
نخطط لاضافة مزايا كثيرة منها:
Face recognization للشخصيات المشهورة
More advanced NLP مثلاً "قطة فوق الطاولة" ستختلف عن "قطة تحت الطاولة"
Synonym matching مثلاً "Football" ستكون نفس لو كتب المستخدم "Soccer"
دعم اللغة العربية اخيراً ولكن هذا صعب جداً لعدم وجود Dataset
شرح بسيط عن pipeline المشروع:
1- يرفع المستخدم صورة
2- يتم استخراج الميزات features عن طريق CNN واستعملنا هنا InceptionV3
3- تدخل هذه الميزات إلى LSTM وهي RNN
4- يتم توليد التوصيف النصي للصورة وحفظها بقاعدة البيانات
5- يدخل المستخدم جملة بحث، يتم معالجتها ومطابقتها مع الصور في قاعدة البيانات
هذا ديمو المشروع:
