من أين تحصل على البيانات الضخمة لتدريب نماذجك ( ان صح التعبير ) ؟
لطالما روادتني في فكرة اظنها من الخيال العلمي , هل يمكن مثلا وصل الذكاء الصناعي مع الانترنات مثلا تجعله يعالج محتوى موقع حسوب هذا و يتعلم طرق الرد ؟
من أين تحصل على البيانات الضخمة لتدريب نماذجك ( ان صح التعبير ) ؟
لطالما روادتني في فكرة اظنها من الخيال العلمي , هل يمكن مثلا وصل الذكاء الصناعي مع الانترنات مثلا تجعله يعالج محتوى موقع حسوب هذا و يتعلم طرق الرد ؟
-محتوى المواقع : المحتوى الذي يشاركه الناس على مواقع الأنترنت يعتبر بالأساس كنزاً من البيانات ، على سبيل المثال يمكنك استعمال تغريدات تويتر في هاشتاق معين كـ dataset لتدريب نماذج sentiments analysis أو chatbots ، كما يمكن استخدام مواقع المعلومات والموسوعات لجرف البيانات واستخدامها .
الجهات المختصة : على سبيل المثال بعض المنظمات الخاصة بالصحة تقوم بجمع البيانات عن المرضى ، وهناك منظمات خاصة بحماية البيئة والجهات الحكومية المكلفة بالاحصاء وغيرها ..
بياناتك الخاصة : يمكنك جمع البيانات بنفسك من الوسط الذي تعيش فيه أو عمل استفتاءات على شبكات التواصل ، وأخيراً فالبيانات موجودة في كل مكان !
لم أذكر بايثون على وجه التخصيص في هذا الموضوع لكن أعتقد أنك اطلعت على مدونتي ^_^
إذا كنت تريد لغة برمجة تجمع بين القوة والبساطة وفي نفس الوقت تتميز بمجتمع كريم جداً فبايثون هي الخيار الأول ، وأيضا ما جعلني أميل لبايثون هو كون أشهر حزمتين برمجيتين لتعلم الآلة اليوم هما sklearn (تعلم الآلة كلاسيكي) و tensorflow (الشبكات العصبية الإصطناعية) هما حزمتي بايثون بالأساس .
R أيضا لغة ممتازة في هذا المجال ولكن الأوراق العلمية والبحوث الكبيرة في مجال الذكاء الصنعي تشكل لغة بايثون جزء كبير منها
لكن أعتقد أنك اطلعت على مدونتي ^_^
صحيح وكذلك اسم العضوية هنا :)
اميل الى البيانات وتحليلها، التقارير وما يتعلق بها، وتجذبني قواعد البيانات بشدة.
كعملي محاسباً حالياً - ولاحقاً في التحليل المالي بحول الله - أحتاج هذه المهارات أي مهارات تحليل البيانات لأذهب لفهم أبعد من مجرد نتائج جمع وطرح وارباح وارقام. Data Analysis.
حالياً أتعلم BI وهو جزء بسيط من عالم تحليل البيانات، ولكن مفهوم تحليل البيانات بشكله الكامل، وأيضاً محتويات تخصص Data Scientist تستهويني بشدة. ما جعلني أضع خطة عمل للوصول وتعلم هذا العلم. فمن خلال قرائي وجدت ان اكثر المواضيع تتحدث اما عن لغة بايثون او R. ووجدت ان بايثون قد تكون الخيار الأنسب لما احاول ان أصبو اليه.
اذا استطعت اتمام التعلم لتخصص عالم البيانات مثلاً حينها سأباشر بتعلم الذكاء الصناعي.
هل الذكاء الصناعي يتطلب موارد حاسوبية ضخمة حتى يمكن تعلم هذه الاختصاص. بمعنى اخر هل يعتبر حاسوب ضعيف المواصفات حاجز لتعلم تقنيات الذكاء الصناعي (تعلم هذه المجال وليس تعليم الخوارزميات )
هل تعلمت الذكاء الصناعي وحدك. تعليم ذاتي. وان كنت كذالك هل تدلنا على مسار الذي تبعته اثناء تعلمك + الدورات التي تعلمت منها
الخوارزميات الجينية هل هي ضمن خورزميات الذكاء الصناعي
لماذا لم ينتشر الذكاء الصناعي بعد اقصد يمكنك حاليا ان تأتمة العديد من الوضائف وتزع الجانب البشري وهذا في صالح العديد من الشركات.. من وجهة نضرك لماذا لا تقدم الشركات على تبني الذكاء الصناعي على الاقل في الوضائف( المتكررة)
عملية التعلم والتطبيق لا تتطلب موارد حاسوبية ضخمة ، يمكنك فعل ذلك على أي حاسوب بسيط ، بل ويمكنك التطبيق أونلاين عبر google colab :
https://colab.research.goog...
بالنسبة للكثير من الوظائف المتكررة فقد حلت الآلات مكانها منذ قرون ومازلت تفعل إلى الآن ، أنظر حولك فقط وستفهم قصدي
لماذا ال pattern recognition كمثال facial recognition يعتبر احد مجالات الذكاء الاصطناعي
اين الذكاء في التعرف على الانماط؟
إذا كان التعرف على الأنماط يتم بطريقة نصف أوتوماتيكية أو أوتوماتيكية بالكامل يعتبر ذكاء اصطناعي لأن النموذج المسؤول (أقصد نموذج تعلم الآلة هنا) هو نموذج يتعرف على الأنماط ويصنفها دون تدخل منا .
توجد نماذج غير ذكية للتعرف على الأنماط ولا تتطلب سوى مجموعة من الجمل الشرطية ولكنها نماذج ضعيفة ، على سبيل المثال يمكنك عمل نموذج للتعرف على قطتك من خلال لونها وشكل عينيها ولكنه لن يعمل بمجرد تغير إضاءة الغرفة أو حين تغمض القطة عينها ، النموذج المبني بالذكاء الصنعي مثلاً يستطيع تمييز القطط عن الكلاب فقط عبر تغديته بمجموعة من صور القطط والكلاب ، وفي الأخير سيكون قادر على التعرف وتمييز صور القطط مهما كانت زاوية التصوير أو الإضاءة ويميزها حتى لو كانت ترتدي قبعات ههه ، بل إنه قادر على التعرف على فصائل من القطط لم يسبق له التعامل معها من قبل .
بما أن الذكاء الصنعي هو علم يسعى لمحاكاةِ العقل البشري في الآلات المُبرمَجة باستخدام نماذج قابلة للتعلم (machine learning) من البيانات ، فعِلم البيانات هو العلم الذي يوظف لفهم وتحليل ورقمنة هذه البيانات وهو علم تطبيقي قائم بذاته ، في حين أن الذكاء الصنعي يتخذ أبعاد فلسفية وإنسانية ولا يلتقي مع علم البيانات إلا في جانبه التطبيقي للتعلم الآلي الذي يطلق عليه الـ machine learning ، حيث أن بعض العلماء يرون أن تعلم الآلة علم فرعي عن علم البيانات .
" يُسمّى أيضاً العلم القائم على البيانات (Data-Driven Science)، وهو مجال متعدد التخصصات حول الأساليب العلمية والعمليات والنظم لاستخراج المعرفة أو الأفكار من البيانات في أشكال مختلفة، إما منظمة أو غير منظمة.علم البيانات هو مفهوم توحيد الإحصاءات وتحليل البيانات وأساليبها ذات الصلة من أجل فهم وتحليل الظواهر الفعلية مع البيانات. وهو يستخدم تقنيات ونظريات مستمدة من مجالات عديدة في الرياضيات والإحصاء وعلوم المعلومات وعلوم الحاسوب، ولا سيما من المجالات الفرعية للتعلم الآلي والتصنيف وتحليل المجموعات واستخراج البيانات وقواعد البيانات والتصور. "
علم البيانات يتضمن تعلم الالة Machine Learning
اذا كان لديك خبرة هل من الممكن ان تشرح لي خوارزميات تعلم الالة:
Linear regression
poisson regression
ايضا في Microsoft azure ML يوجد Block اسمه Cross Validate Model ما عمل هذا البلوك؟
سبق وشرحته بالتفصيل هنا :
إذا أردنا بناء نموذج لتعلم الآلة باستخدام البيانات فإننا غالباً ما نقسم البيانات إلى مجموعات تدريب، وتحقق، واختبار. تستخدم مجموعة التدريب لتدريب النموذج، ومجموعتي التحقق والاختبار للتحقق من النتائج على بيانات لم يسبق رؤيتها من قبل. الطريقة التقليدية هي تقسيم البيانات إلى قسمين، تدريب واختبار 80%-20%، وأحياناً تختلف هذه النسب، فيمكن أن تكون 70%-30% أو 90%-10%.
في التحقق المتقاطع، نقوم بعمل أكثر من تقسيم. يمكننا أن نعمل 3 ،5، 10 أو أي عدد س من التقسيمات. هذه الأقسام يطلق عليها أجزاء (Folds) وهناك العديد من الاستراتيجيات لعملها.
التعليقات