22

ذكاء صناعي يقوم بتأليف كلمات و جمل

mustafaihssan

ؤجظستاق راسه .....

جلست جدا وتحرس في الضحك .....في عقرقهما بوشار حدها ......لكنني ماذا عميق ...

فابنته : احطم قديمه في الارض ....

وعندما ركبت الغضب ينققص في العربي

وينفس ....وتوجهنا الى اللحضه .......حتى اتبلني ......وتوجهت اليه ......وههنا طبق الصغيره .....

وجلست على وجه طلب المخائره ......عميق .....

وفكان دجاجت والدي بي وبعدها ......وفقدت يرعد عنا للاول .......

جلس الضبه يديه .....وتوجهت الى عياتي اما اتنطل على الارض ....

وان تقطع عدة تلك النضر ........تحت الحقول .......وقالت امي حوالي السرير الصرخه .......وبعض الزوج الخضار حوالي ....

وفهد تتسبب بدلام ........؟؟؟ قل قراركم من البناه......

لو هناك ثلاثه والازفي وهي تحتض .......

امسك يزيوي..... وصرخ الدلس ......

هل ساعده صوفيا ....وسافته بالسيده

بشأر يروق؛ ركطوا من وضعته عن بقربي ......ووقاع قتل .........

استمسخ بحرالي ........فربط؛ في مايا بحسة المدينه تحاولا مرتمون لي .....

كنت اطرافها جها ......بعد من اختي جوانه.........

عدت الى السوى

.......وغضب كوبا ممردني الذي ساعودين .........غمىت قلبي ......

واصطخمتهما كوني امامي

كنت خارج مصير اتجاه .........وقلت : هذه ....ولا تعرف بعض شي .....كنت اساعده كذاهني .....

وقال : بدأت كرت هانا تسير في احد المكان

فرفضه الى احضرير في مرتديع الطائره ......عميق الكثير جدا وزرجت عبريه ......ورايت النهر والتوار .......

فركضت الي ...فنظرت بنا ......فنصف الكثير من جوار الطائره ......

لم يكن كمن بعد ؟؟

قالت لي كانت مطروجهم الطائره ......وجميع : استلقوا على السيده ......وثم انه استخدم عده ما ....نظرت الى خلفه

......وقد ناديتها

وعسدت على وجها .........ومضوضا باحضرات خمسه ...... ولم ارى معي ........وهي محلده .....وتبعته لم نعم ؟؟

الجمله في الصحراء ....واشعت لوان غبي

القرم يتجاوزتا من جينانات .........على القيت بيل ....فذلك الرجل في الامس .......

فجاءه سمعت جدا ......وتحدوعت الطعاق لكن الدخان وبين التعين ان ترك هذه السحر على السوق ......

وكان سنفتسين به خانب ........ولا لم استخدم قدمي عندها تعملماني ......

يرجى الدخول لحسابك أو تسجيل حساب لتستطيع إضافة تعليق
حساب جديد دخول

التعليقات

نوع الذكاء الصناعي المستخدم : تعلم عميق + LSTM + كتابة حرف حرف

كمية المعلومات : كتاب واحد 400 صفحة فقط - الكلمة قليلة جدا

النتيجة :

  • الشبكات العصبية الحالية تتحمل العربية بسهولة

  • الشبكة العصبية تتعلم النحو بدون تعليمها بالتحديد

  • يمكن الحصول على نتيجة افضل بكمية معلومات اكثر، و هنا احتاج الى مساعدتك

افكر في تعليم الشبكة بعض الشعر لذا احتاج الى كمية كبير من الشعر بصيغة txt او doc

  • اي سؤال انا جاهز
  • هل يمكن أن تشرح لنا ببساطة كيف انتقلنا من الكتاب إلى النص الموجود في الموضوع ؟ ما الذي حصل بالضبط ؟

هناك شبكة عصبية تتعلم تسلسل الحروف و علاقتها بعضها ببعض، و بعد تدريبها نقوم بتنبىء حرف حرف مثل الذي يحدث في هاتفك عند الكتابة، الى ان تصل الى النص الموجود.

افكر في تعليم الشبكة بعض الشعر لذا احتاج الى كمية كبير من الشعر بصيغة txt او doc

استخدم شبكة أدب للشعر، وموقع الرديف للقوافي

بالتأكيد لديك طريقة أسهل لإستخراج البيانات من الموقع

.....وجميع : استلقوا على السيده ......وثم انه استخدم عده ما ....نظرت الى خلفه

هههه، ربما يجب أن تكبح جماح خياله الواسع

هههههه يبدو ان سكاي نت ستكون منحرفة بدل ان تكون قاتلة

السلام عليكم

هل لي ان اتمنى عليك أمنية أخي @mustafaihssan

انا مبرمج PHP متقن جيدا للغة .

لحد الان وبعد قراءة الكثير من المراجع لم افهم الية الخلايا العصبونية و كيف نقوم ببرمجتها .

التعلم العميق + LSTM هل هم مكاتب قمت بالاستعانة بهم . حبذا لو تعطيني الطريق الأنسب لكي استطيع ان اتبنى هذا الامر في برامجي .

اتمنى ان اجد منك مقال يشرح الامر بطريقة على الأقل تكون بسيطة .!

شكرا جزيلا لك .

حسنا سأعود بمقاله بعد كم يوم

اشكرك جزيل الشكر

جل ما وجدتة حديثا . وكل ما يتكلم عنه تعليم دالة ال XOR ولم افهم اصلا ..

كيف استفيد من هذا المرجع لكي على الاقل اقوم بفعل شيء بسيط . انطلق من خلالة .

لكي احدد لك ما هو هدفي .

اريد ان اقوم بعمل توليد لرد منطقي على تويت مثلا .

يعني سوف اقوم بجلب الالف التويتات واجلب التعليقات التي بكل تويتة . اريد طريقة لا اعرف كيف . ان اقوم بتعليم الالة الاسئلة وهية التويت - والاجوبة - وهية التعليقات وفي حال اعطيتة تويت يقوم بتوليد تعليق منطقي !

المشكلة من مشاهدتي للسطور التي فوق يظهر لديك جملة نعم ولكن غير مترابطة المعاني.

وينفس ....وتوجهنا الى اللحضه .......حتى اتبلني ......وتوجهت اليه ......وههنا طبق الصغيره .....

يمكن ان ترى قصدي جليا ...

شكرا لمداخلتك.

هذه شبكة بسيطة لتعلم كيفية حل دالة XOR ، عندما تجعلها اكبر و اقوى ستقوم بفهم اشياء اكبر و اعقد حتي تستطيع فعل شيء مثل هذا

جرب تستخدم اكثر من كتاب تتكلم عن نفس الموضوع بطريقة مختلفة.

هذا ما احاول فعله، و لكن اغلب الكتب التي وجدتها هي PDF لذا لا استطيع ان استعملها

حول الPDF الي وورد

لم أفهم شيئاً من النص هل ما زال تحت التطوير؟

عمل رائع

فقط بعض استفسارات

هل يقوم بإنشاء الكلمات من تلقاء نفسه ام الكلمات جاهزة وهو يقوم بترتيبها؟

هل المدخلات حروف ام الكلمات ام مجموعة نصوص؟

هل يستخدم قواعد الصرف والنحو في اللغة العربية أم يقوم باستنتاجها بناءا على نماذج مسبقة؟

شكرا مسبقا

هل يقوم بإنشاء الكلمات من تلقاء نفسه ام الكلمات جاهزة وهو يقوم بترتيبها؟

يقوم بأنشاء حرف حرف لكل كلمة عن طريق التنبوء بالكلمة القادمة، مثل الموجود في المتنبىء في الكيبورد في الهاتف، و لكن تخيل انك تضغط على المقترحات فقط.

هل المدخلات حروف ام الكلمات ام مجموعة نصوص؟

المدخل كتاب كامل و هو يقرأ حرف حرف و مكان الحرف و علاقته في الاحرف القادمة و السابقة

هل يستخدم قواعد الصرف والنحو في اللغة العربية أم يقوم باستنتاجها بناءا على نماذج مسبقة؟

هو يستنتجها بنفسه بدون تعليم مسبق

جيد

حسنا حسب ما فهمت ,انت تعطيه كتاب ثم البرنامج يقوم باستخلاص الكلمات والقواعد انطلاقا منه

*هذه الطريقة تعتمد على نوعية الكتاب واسلوب الكاتب فمثلا كتب الرياضيات بالكاد توجد فيها قواعد نحوية وصرفية

نفس الشيء بالنسبة لكتب الطب والفيزياء وغيرها من العلوم وحتى الكتب الادبية المتخصصة فقط انشئت بقواعد صعبة الفهم

الكتب ايضا قد تحوي اخطاء مطبعية (سيتسبب في اخطاء في التعلم) ونحوية اذا كان الكاتب لا يراعي قواعد اللغة العربية

اذا انت تحتاج لكمية كبيرة من الكتب و ووقت اكبر لتدريب البرنامج على التعلم والاستنتاج

لذلك انصحك باستخدام قواعد النحو والصرف مباشرة, توجد كتب تشرحها باختصار كالآجرومية ولامية الافعال

طبعا سيتغرق منك وقتا كبيرا لتعلمها وبرمجتها لكنه بالمقابل سيجنبك الاخطاء التي ذكرتها لك

وايضا انصح بدمج طرق اخرى للتعلم مثل 'شجرة القرار ,المنطق الرياضي ,المنطق الضبابي, الانظمة الخبيرة' وليس الاعتماد على الشبكات العصبية وحدها

بإمكانك الاستعانة ببعض من سبقوك في هذا المجال ,قبل مدة كان يوجد برنامج اسمه منصور لاعراب الكلمات وكان مفتوح المصدر كان موجود في موقع الفريق العربي للبرمجة لكني للاسف لم أجد رابطه,برنامج مثله يمكنك الاستفادة من شفرته المصدرية واختصار الوقت

حسنا حسب ما فهمت ,انت تعطيه كتاب ثم البرنامج يقوم باستخلاص الكلمات والقواعد انطلاقا منه

ليس تماما، هو يتعمل انماط تركيب الحروف لذا هو يتعلم هيكلة القواعد و لكن ليس لديه قواعد حقيقة،

مثلا انت عندما قرأت الكلام عرفت ان القواعد خاطىء و لأنها بدت بشكل خطاىء لديك و ليس لأنك استرجعت دروس النحو و قارنتها

الكتب ايضا قد تحوي اخطاء مطبعية (سيتسبب في اخطاء في التعلم) ونحوية اذا كان الكاتب لا يراعي قواعد اللغة العربية

اجل تماما

لذلك انصحك باستخدام قواعد النحو والصرف مباشرة, توجد كتب تشرحها باختصار كالآجرومية ولامية الافعال

بهذه الشبكة العصبية لا تستطيع ان تقول له كيف يتعلم و ما القوانين، انت تعطيه المدخلات و المخرجات فقط و هو يصمم و يعلم من الامثلة

وايضا انصح بدمج طرق اخرى للتعلم مثل 'شجرة القرار ,المنطق الرياضي ,المنطق الضبابي, الانظمة الخبيرة' وليس الاعتماد على الشبكات العصبية وحدها

هذه الطرق قديمة و لا تستطيع انتاج اشياء مثل الشبكات العصبية

ما نوعية المعلومات التي تحتاجها لتوسيع قاعدة البيانات ؟

مجرد قصص او شعر مكتوب بالعربية بصيغة txt او doc

مجال الأدب تحديدا ؟ ألا يمكن وضع عدة مجالات مثل التاريخ والفلسفة والعلوم ... إلخ ؟

اي مجال ينفع

ربما يفيدك هذا الموقع:

http://bit.ly/2gSkhaq

أكتب في غوغل: شعر كتب بصيغة txt وستحصل على الكثير..

اغلب المواقع التي وجدتها ذوات روابط قديمة و لا تعمل، على العموم ليست مشكلة كبيرة، سأحاول ان استعمل التعليقات هنا و ممكن بعض التويتات

حمل المكتبة الشاملة، وإن كنت تريد قسم الأدب والشعر ففيها ما فيه الكفاية.. آلاف الكتب بصيغة نصية، يمكن التصدير إلى doc

اجل هذا ما افكر به ايضا

يمكنك مثلا ان تكبها في جوحل وتختار search advanced ثم في حقل file تختار .txt او .doc

واو هل قلت أن الشبكة تعلمت النحو بدون تدريبها؟

هذا مذهل حقا، كنت واثقا أن الدخول للعربية مع NPL و ML سيتطلب nueral network فحسب، ولكن لم أعتقد أنه لن يتطلب حتى ولو بعض الأساسيات

ماذا استعملت بالتحديد، وكم من طبقة استعملت؟

واو هل قلت أن الشبكة تعلمت النحو بدون تدريبها؟

ليس النحو بالتحديد، بل نمط الكلمات و بهذا تحاكي النحو.

ماذا استعملت بالتحديد، وكم من طبقة استعملت؟

استعملت Recurrent Neural Networks و بالتحديد خلية LSTM

و لا توجد طبقات حيث ان المعلومات التي تخرج تدخل من جديد لنفس الطبقة، بهذا تتعلم الخلية توقع المستقبل، و بما اننا اعطينها الكلمات العربية فأنها ستتعلم النحو او نمط تركيب الكلمات و الاحرف

ألا يتمحور deep learning حول استخدام أكثر من طبقة؟ أو له معنى آخر لا أعرفه؟

اجل بالعادة و لكن هذه يستعمل الطبقة نفسها مرارا و تكرارا، اي انك تحصل على طبقات لا نهائية.

كيف حولت الحرف العربي الى 0.N ؟

ممكن نشوف الكود ؟

لم أفهم ماذا تقصد ب

كيف حولت الحرف العربي الى 0.N ؟

يبدو انك استخدمت المكتبة التي تفضلت مشكورا بذكرها .

قمت بدراسة سريعة حول الشبكات العصبونية و تبين انها تقبل القيم 0-1 فقط وما بينهما

فان كنت تود ان تدخل حرب ال (ب) يجب ان تسند له قيمة وتبقى تستخدمها طول فترة التدريب . لا يهم ما هية القيمة ولكن يجب ان تكون قريبة جدا من ال 0-1

مثلا عدد عدد حروف اللغة العربية تسعة وعشرون، ويرى بعض اللغويين أن الهمزة والألف حرف واحد وبذلك يكون عدد الحروف ثمانية وعشرين

فنتبع رأي الطرف الأول . 29 + المسافة نعتبرها حرف اصبح لدينا 30.

في حال كان المدخلات حروف عربية فقط بدون ارقام

نقوم بتنظيف الحروف من كافة علامات الترقيم والتشكيل لتصبح لدينا حروف صرفة مع المسافة .

حرف ال ( أ ) يكون رقمة 1 تقسيم 30 = 0.03

حرف ال ( ب ) يكون رقمة 2 تقسيم 30 = 0.06

حرف ال ( ي ) يكون رقمة 2 تقسيم 30 = 0.9

هذا الامر مثال اخترعتة انا لكي احول الحروف الى ارقام عشرية بين الصفر و الواحد.

هذا ما فهمتة . ولكن لا اعرف بالنسبة للمكتبة التي تستخدمها كيف تتعامل مع الكلمات . وكم عدد المدخلات

هل تدخل حرف واحد و تخرج حرف واحد ؟ وهكذا ؟

اتمنى لو يكون هناك تطبيق لهذا الامر بال PHP ولكن من قرائتي تبين ان الامر ليس بهذة البساطة - تحتاج ادوات ككروت الشاشة الاحترافية لكي تجد نتائج حسنة !

قمت بدراسة سريعة حول الشبكات العصبونية و تبين انها تقبل القيم 0-1 فقط وما بينهما

ليس تماما، تستطيع اعطائها اي شيء، مثل بكسلات، احرف، أو حتي صور ب10 ابعاد.

كلامك صحيح عندما كانوا يستعملون الشبكات العصبية العادية، و لكن مع التوصل الى التعلم العميق اصبح بأمكانك ان تعطيها اي شيء تريد

اتمنى لو يكون هناك تطبيق لهذا الامر بال PHP

يوجد مكتبة convnetjs و لكن هذه على الجافا سكربت

استوحيت الامر من هنا : http://developers-club.com/...

لمن كان مهتم جدا مثلي :

اجل هذه نفس الشبكه التي استعملها، و هو أيضا مخترع هذه الهيكلية لهذه الشبكة.

بينما هو استعمل لغه لوا و مكتبه تورش، انا استعملت لغه البايثون و مكتبه تنسرفلو

ممكن الرابط لو سمحت ؟

اشكرك على ذكر اسم المكتبة ! واو رائعه

@mustafaihssan

هذه مكتبة بايثون تحول الكتب المصورة إلى ملفات نصية ، ألق نظرة عليها لعلها تفيدك .

للأسف OCR عادة سيء باللغة العربية

بما انك متخصص بهذا المجال كما قرات في ملف تعريفك .

هل يمكن استخدام تنسرفلو لبناء برنامج يقوم بعمل OCR للعربية . على ان يكون دقيق جدا !

قرات ان الامر ممكن ولكن شاهدت فيدوهات قديمة عن تنسرفلو حول معالجة الصور . الامر جدا معقد ! هل هو كذلك ؟

ما فهمتة انها تتعلم لوحدها . انت فقط مهمتك ان تقدم لها العينات .

فهل الامر ان تقدم لها عينات الخط العربي ؟

اتمنى منك المساعدة - لربما يكون مصدر رزق لك.

اجل تستطيع ذلك و لكن المشكلة انك تحتاج الى dataset اي مجموعة كبيرة من البيانات المعدة لكي تتعلم الشبكة.

و ايجاد او صنع مثل هذه القاعدة امر صعب و يحتاج الى الكثير من العمل و الجهد

يمكن جلب بيانات مكتوبه بخط اليد الشبكه مملوئه بهذا الأمر

ارى ان يتم التعرف على الكلام كلمه كلمه وليس حرف حرف.

هل عندك الوقت للتحدث حول هذا الامر