تعلم عميق

عودة للموسوعة

تفهم عميق

إذا كنت ترغب التفهم العميق لقاء التفهم الضحل في فهم النفس التربوي، انظر مقاربات الطلاب للتفهم. إذا كنت ترغب المزيد من المعلومات، انظر شبكة عصبية اصطناعية.
التفهم الآلي
والتنقيب في البيانات
  • بوابة التفهم الآلي

"التفهم المنظم العميق" أو"" التفهم الهرمي "" ") هوجزء من عائلة أوسع من التفهم الآلي machine learning وهويعتمد على الشبكات العصبية الاصطناعية. يمكن حتىقد يكون التفهم إما تحت الإشراف Supervised learning ، نصف الإشراف Semi-supervised learning أو غير الخاضع للإشراف Unsupervised learning .

تم تطبيق أسلوب البنائي في التفهم العميق مثل الشبكات العصبية العميقة وشبكة المعتقدات العميقة deep belief network والشبكات العصبية المتكررة recurrent neural networks والشبكات العصبية التلافيفية convolutional neural networks على الحقول بما في ذلك الرؤية الحاسوبية ، التعهد على الكلام ، معالجة اللغة الطبيعية natural language processing ، التعهد على الصوت ، تصفية الشبكة الاجتماعية ، الترجمة الآلية machine translation، المعلوماتية الحيوية bioinformatics ، تصميم الأدوية، برامج تحليل الصور الطبية وفحص المواد وبرامج board games، حيث حققوا نتائج مماثلة للخبراء البشر وفي بعض الحالات متفوقة عليها.

تم استنباط فكرة الشبكات العصبية الاصطناعية Artificial neural network (ANNs) من معالجة المعلومات وعقد الاتصالات الموزعة في النظم البيولوجية. تختلف ANNs عن الاختلافات البيولوجية عن الدماغ. وعلى وجه التحديد، تميل الشبكات العصبية إلى حتى تكون ثابتة ورمزية، في حين حتى الدماغ البيولوجي لمعظم الكائنات الحيةقد يكون ديناميكي (لدن) وتناظري .

تعريف

تمثيل الصور على طبقات متعددة من التجريد في التفهم العميق

التفهم العميق هوفئة من التفهم الآلي كخوارزمية التي (pp. 199–200) حيث يتم تستخدام طبقات متعددة لاستخراج ميزات المستوى الأعلى تدريجياً من الإدخال الخام. على سبيل المثال ، في معالجة الصور ، قد تحدد الطبقات السفلية الحواف، بينما قد تحدد الطبقات الأعلى المفاهيم ذات الصلة بالإنسان مثل الأرقام أوالحروف أوالوجوه.


نظرة عامة

تعتمد معظم نماذج التفهم العميق الحديثة على الشبكات العصبية الاصطناعية ، على وجه التحديد ، الشبكة العصبية التلافيفية Convolutional Neural Network (CNN) ، على الرغم من أنها يمكن حتى تضم أيضًا صيغة مقترحة propositional formula أومتغيرات كامنة مرتبة بطبقة عميقة في النموذج العام generative model مثل العقد في شبكة المعتقدات العميقة deep belief network والعمق آلة بولتزمانBoltzmann machine .

في التفهم العميق ،يقوم جميع مستوى بتفهم تحويل بيانات المدخلات الخاصة به إلى تمثيل أكثر تجريدية وهجريباً . في تطبيق التعهد على الصور ، قد يحدث الإدخال الأولي مصفوفات من البكسل ؛ فالطبقة التمثيلية الأولى قد تستخلص البيكسلات وتشفير الحواف ؛ الطبقة الثانية قد تؤلف وترمز ترتيبات الحواف ؛ الطبقة الثالثة قد تشفر الأنف والعينين ؛ وقد تتعهد الطبقة الرابعة على حتى الصورة تحتوي على وجه. الأهم من ذلك ، عملية التفهم العميق يمكن حتى تتفهم أي الميزات لوضعها على النحوالأمثل في أي مستوى "من تلقاء نفسها". (بالطبع ، هذا لا يلغي الحاجة إلى ضبط اليد تمامًا ؛ على سبيل المثال، يمكن حتى توفر الأعداد المتنوعة للطبقات وأحجام الطبقات درجات مختلفة من التجريد.)

تشير حدثة "عميق" في "التفهم العميق" إلى عدد الطبقات التي يتم من خلالها تحويل البيانات. بتعبير أدق ، تتمتع أنظمة التفهم العميق بعمق كبير في "مسار تخصيص الائتمان" (CAP). CAP هوسلسلة من التحولات من الإدخال إلى الإخراج. تصف CAPs الاتصالات المحتملة المحتملة بين المدخلات والمخرجات. بالنسبة إلى الشبكة العصبية ذات التغذية الأمامية feedforward neural network] ، فإن عمق CAPs هوعمق الشبكة وهوتعبير عن عدد الطبقات المخفية بالإضافة إلى طبقة واحدة (لأن طبقة المخرجات يتم تحديدها أيضًا). بالنسبة إلى الشبكة العصبية المتكررة والدورية recurrent neural network ، التي قد تنتشر فيها إشارة عبر طبقة أكثر من مرة ،ويحتمل حتىقد يكون عمق CAP غير محدود. لا توجد حدود متفق عليها عالميا لتقسيم عمق التفهم السطحي من التفهم العميق ، لكن معظم الباحثين يتفقون على حتى التفهم العميق يضم عمق CAP أعلى من 2. وقد تبين حتى CAP للعمق 2 هوتقريب عالمي ، بمعنى أنه يمكن محاكاة أي وظيفة.[] علاوة على ذلك ، لا يتم إضافة المزيد من الطبقات إلى وظيفة تقريب الإمكانية والقدرة للشبكة. النماذج العميقة (CAP> 2) قادرة على استخراج ميزات أفضل من النماذج السطحية ، وبالتالي ، تساعد الطبقات الإضافية في تفهم الميزات بفعالية.

يمكن تشكيل بنية التفهم العميق باستخدام خوارزمية شدة التوق والنهم greedy algorithm طبقة تلوطبقة.حيث يساعد التفهم العميق على فصل هذه التجريدات واختيار الميزات التي تحسن الأداء. .

بالنسبة لمهام التفهم الخاضع للإشراف supervised learning ، تستبعد أساليب التفهم العميق هندسة الميزات feature engineering ، من خلال ترجمة البيانات إلى تمثيلات وسيطة مدمجة أقرب إلى تحليل المكونات الرئيسية principal components ، واستنباط البنى ذات الطبقات التي تزيل التكرار في التمثيل .

يمكن تطبيق خوارزميات التفهم العميق على مهام التفهم غير الخاضعة للإشراف. هذه فائدة مهمة لأن البيانات غير المسماة أكثر وفرة من البيانات المصنفة. من الأمثلة على الهياكل العميقة التي يمكن تدريبها بطريقة غير خاضعة للإشراف هي السجلات العصبية وضواغطها and deep belief networks.

تفسيرات

يتم تفسير وترجمة الشبكات العصبية العميقة عمومًا لنظرية التقريب الكامل universal approximation theorem أو الاستدلال الاحتمالي Bayesian inference .

تتعلق نظرية التقريب العالمية الكلاسيكية بقدرة وإمكانية الشبكات العصبية ذات التغذية الأمامية feedforward neural network مع طبقة مخفية واحدة من الحجم المحدود لتقريب وظائف وتوابع مستمرة . في عام 1989 ، تم نشر الدليل والبرهان الأول بواسطة George Cybenko لوظائف التنشيط والتفعيل ل دالة السيني and was generalised to feed-forward multi-layer architectures in 1991 by Kurt Hornik. أظهر العمل الأخير أيضًا حتى التقريب العالمي ينطبق أيضًا على وظائف التنشيط غير المحددة مثل الوحدة الخطية المصححة. تتعلق النظرية العامة للتقريب لـ الشبكات العصبية العميقة بقدرة الشبكات ذات العرض المقيد ولكن يسمح لهذا العمق بالنمو. أثبت Lu et al. أنه إذا كان عرض شبكة عصبية عميقة مع تنشيط ReLU أكبر تمامًا من بعد الإدخال ، فيمكن للشبكة تقريب أي تكامل [[Lebesgue] | Lebesgue وظيفة قابلة للتكامل]] ؛أما إذا كان العرض أصغر أومساويًا لبعد الإدخال ، فإن الشبكة العصبية العميقة deep neural network ليست تقريبًا عالميًا. فالتفسير الاحتمالي probabilistic فهومشتق من مجال التفهم الآلي . يتميز بالاستدلال ، < ref name = "MURPHY" /> وكذلك بالأمثلية optimization فمفاهيم التدريب و الاختبار ، تتعلق بالهجريب والتعميم ، على التوالي. وبشكل أكثر تحديدًا ، يعتبر التفسير الاحتمالي حتى التفعيل غير الخطي هودالة التوزيع التراكمي cumulative distribution function . وقد أدى التفسير الاحتمالي إلى إدخال التسرب dropout (neural networks) المنظم في الشبكات العصبية. تم تقديم التفسير الاحتمالي من قبل الباحثين جون هوبفيلد Hopfield Widrow و Narendra والتعميمات في استطلاعات الرأي من قِبل Bishop.

سجل وتاريخ التفهم العميق

تم تقديم مصطلح "التفهم العميق" إلى مجتمع التفهم الآلي بواسطة رينا ديتشر Rina Dechter في عام 1986 ، and to artificial neural networks by Igor Aizenberg and colleagues in 2000, in the context of Boolean threshold neurons.

تم نشر أول خوارزمية تفهم عميق خاضعة للإشراف ، ذات تغذية أمامية ، مستقبلات متعددة المستويات perceptron من قِبل Alexey Ivakhnenko أليكسي إيفانينكووLapa لابا في عام 1965.وصفت ورقة بحثية عام 1971 لشبكة عميقة معثمانية طبقات تم تدريبها بواسطة خوارزمية مجموعة طرق للتعامل مع البيانات group method of data handling .

بدأ العمل على أساليب بناء أخرى للتفهم العميق ، خاصة تلك التي تم تصميمها من أجل رؤية الكمبيوتر computer vision ، بواسطة Neocognitron وهي شبكة عصبية اصطناعية متعددة الطبقات والتي قدمها كونيهيكوفوكوشيما Kunihiko Fukushima في عام 1980. في عام 1989 ، طبق يان ليكون Yann LeCun مع آخرون خوارزمية backpropagation القياسية وهي خوارزمية تستخدم على نطاق واسع في تدريب الشبكات العصبية ذات التغذية الأمامية في التفهم الخاضع للإشراف ، التي كانت موجودة كوضع عكسي لـ التمايز والاختلاف التلقائي [automatic differentiation منذ عام 1970 ، إلى شبكة عصبية عميقة بهدف التعهد على الرمز البريدي ZIP code المكتوب بخط اليد عبر البريد. أثناء عمل الخوارزمية ، تطلب التدريب ثلاثة أيام .

بحلول عام 1991 ، تم استخدام هذه الأنظمة للتعهد على الأرقام المكتوبة بخط اليد المعزولة ثنائية الأبعاد ، بينما تم التعهد على الكائنات ثلاثية الأبعاد عن طريق مطابقة الصور ثنائية الأبعاد بنموذج كائن ثلاثي الأبعاد يدويًا. اقترح ونج وآخرون حتى عقل الإنسان لا يستخدم نموذج كائن ثلاثي الأبعاد متحد ، وفي عام 1992 قاموا بنشر Cresceptron, وهي طريقة لأداء التعهد على الكائن ثلاثي الأبعاد في المشاهد المشوشة. نظرًا لأنه يستخدم الصور الطبيعية مباشرةً ، بدأت Cresceptron بالتفهم المرئي للأغراض العامة للعوالم ثلاثية الأبعاد الطبيعية. Cresceptron فهي سلسلة من طبقات مماثلة لنيوكوجونيترون. لكن بينما يحتاج نيوكوجنيترون مبرمجًا بشريًا لميزات دمج اليد ، فقد درست Cresceptron عددًا مفتوحًا من الميزات في جميع طبقة دون إشراف ، حيث يتم تمثيل جميع ميزة بواسطة الالتفاف convolution kernel. قامت Cresceptron بتقسيم جميع كائن تم تفهمه من مشهد تشوش من خلال التحليل الخلفي عبر الشبكة. الحد الأقصى للتجميع Max pooling ، الذي يتم اعتماده الآن في كثير من الأحيان بواسطة شبكات عصبية عميقة ( مثل اختبارات ImageNet ) ،وتم استخدامها لأول مرة لتقليل دقة الموقف بعامل (2 × 2) إلى 1 من خلال التسلسل لتحسين التعميم. في عام 1994 ، نشر أندريه دي كارفاليوAndré de Carvalho ، مع مايك فيرهورست Mike Fairhurst وديفيد بيسيت David Bisset ، نتائج تجريبية لشبكة عصبية متعددة الطبقات جبر بولياني Boolean algebra ، والمعروفة أيضًا باسم شبكة عصبية انعدام الوزن ، مؤلفة من ثلاثة طبقات ذاتية التنظيم لوحدة استخراج الشبكة العصبية (SOFT) متبوعة بوحدة شبكة عصبية ذات تصنيف متعدد الطبقات (GSN) ، والتي تم تدريبها بشكل مستقل. تستخرج جميع طبقة في وحدة استخراج المعالم ميزات ذات تعقيد متزايد فيما يتعلق بالطبقة السابقة.

في عام 1995 ، أوضح Brendan Frey براندن فراي بإمكانية تدريب شبكة تحتوي على ستة طبقات متصلة بالكامل وعدة مئات من الوحدات المخفية باستخدام خوارزمية التنشيط والخمول (استيقاظ-النوم) (لأكثر من يومين) ،حيث تم تطويرها بشكل مشهجر مع بيتر ديان Peter Dayan و هينتون Geoffrey Hinton. Many factors contribute to the slow speed, including the vanishing gradient problem analyzed in 1991 by Sepp Hochreiter. فقد كانت النماذج الأكثر بساطة التي تستخدم ميزات يدوية خاصة بالمهمة أوالعمل مثل مرشح غابور Gabor filter وآلات الدعم الشعاعي support vector machine (SVMs) خيارًا شائعًا في التسعينات وعام 2000 ،لكن بسبب الشبكات العصبية الاصطناعيةartificial neural network s (ANN) حصلنا على تكلفة حسابية وتوصلنا لعدم فهم لكيفية توصيل الدماغ لشبكاته البيولوجية.

تم استكشاف جميع من التفهم السطحي والعميق منذ سنوات عديدة(على سبيل المثال ، الشبكات المتكررة) لشبكات ANN. These methods never outperformed non-uniform internal-handcrafting Gaussian mixture model/Hidden Markov model (GMM-HMM) technology based on generative models of speech trained discriminatively.وقد تم تحليل الصعوبات الرئيسية ، بما في ذلك تقلص التدرج وضعف بنية الارتباط الزمني في النماذج التنبؤية العصبية. صعوبات إضافية كانت في عدم وجود بيانات التدريب وقوة الحوسبة محدودة. تجنب معظم الباحثين في التعهد على الكلام speech recognition الشبكات العصبية لمتابعة النمذجة التوليفية.وكان هنالك استثناء في SRI International في أواخر التسعينيات. بتمويل من حكومة الولايات المتحدة NSA National Security Agency وDARPA ، درست SRI الشبكات العصبية العميقة في التعهد على اللغة والكلام. حقق فريق التعهد على المتحدث بقيادة Larry Heck لاري هيك أول نجاح كبير مع الشبكات العصبية العميقة في معالجة الكلام وفي تقييم التعهد على اللغة لعام 1998 المعهد الوطني للمعايير والتكنولوجيا National Institute of Standards and Technology. بينما حققت SRI نجاحًا مع شبكات عصبية عميقة في التعهد على المتحدث ، إلا أنها لم تنجح في إظهار نجاح مماثل في التعهد على الكلام. تم استكشاف مبدأ حمل الميزات "الأولية" عن التحسين المصنوع يدويًا لأول مرة بنجاح في بنية برنامج التشفير التلقائي العميق على ميزات الطيفية "الأولية" أوميزات بنك-مرشحات خطية في أواخر التسعينيات ، عرض تفوقها على ميزات Mel Cepstral التي تحتوي على مراحل التحول الثابت من الطيفية. الميزات الأولية للكلام ، شكل موجة waveform ، حيث أنتجت فيما بعد نتائج ممتازة على نطاق واسع.

تم تبني الكثير من جوانب التعهد على الكلام من خلال كيفية تفهم عميقة تسمى ذاكرة قصيرة المدى long short-term memory (LSTM) ، وهي شبكة عصبية متكررة نشرتها Hochreiter و Schmidhuber في عام 1997. تتجنب RNNs LSTM معضلة تدرج التلاشي والزوال ويمكن حتى تتفهم مهام "التفهم العميق جدًا" التي تتطلب ذكريات الأحداث التي حدثت آلاف المراحل الزمنية المنفصلة من قبل ، والتي تعد مهمة للتعبير. في عام 2003 ، بدأت LSTM لتصبح قادرة على المنافسة مع أجهزة التعهد على الكلام التقليدية في بعض المهام.تم دمجها لاحقًا مع التصنيف الزمني للتوصيل (CTC) in stacks of LSTM RNNs. في عام 2015 ، ذُكر حتى التعهد على الكلام من Google شهد قفزة هائلة في الأداء بنسبة 49 ٪ من خلال LSTM والمدربين من CTC ، والتي أتاحوها من خلال البحث الصوتي بغوغل Google Voice Search .

في عام 2006 ، تم النشر من قِبل جيف هينتون Geoffrey Hinton ، رسلان سالاخوتدينوف Ruslan Salakhutdinov ، أوسينديروو تيه Yee Whye Teh| تم إظهار كيف من الممكن أن يمكن تدريب طبقة شبكة عصبية بتغذية أمامية feedforward neural network متعددة التغذية بطبقة واحدة بشكل مسبق في وقت واحد ، بحيث يعامل جميع طبقة بدورها على أنهاغير مقيدة آلة بولتزمان المقيدة restricted Boltzmann machine ، ثم صقلها باستخدام إشراف عكسي backpropagation . تشير الأوراق البحثية إلى حتى "التفهم" من أجل "شبكات الإيمان والاعتقاد العميق.

التفهم العميق هوجزء من أحدث النظم في مختلف المجالات ، وخاصة رؤية الكمبيوتر والتعهد التلقائي على الكلام automatic speech recognition (ASR).حيث تحسنت النتائج بشكل مطرد على مجموعات التقييم الشائعة الاستخدام مثل TIMIT (ASR) و MNIST و(تصنيف الصورة) image classification ، بالإضافة إلى مجموعة من مهام التعهد على الكلام والمفردات الكبيرة. تم استبدال الشبكة العصبية التلافيفية Convolutional neural network (CNN) لـ ASR بواسطة CTC for LSTM. ولكن أكثر نجاحا في رؤية الكمبيوتر. بدأ تأثير التفهم العميق في الصناعة في أوائل عام 2000 ، عندما قامت CNNs بالعمل بمعالجة ما يتراوح بين 10٪ و20٪ من جميع الشيكات المكتوبة في الولايات المتحدة ، وفقًا لـ Yann LeCun.Yann LeCun (2016). بدأت التطبيقات الصناعية للتفهم العميق حتى التعهد على الكلام على نطاق واسع في عام 2010.. ورشة NIPS 2009 حول التفهم العميق للتعهد على الكلام وكان الدافع وراء القيود أوالحدود المفروضة على نماذج عميقة من الكلام ، وإمكانية حتى تعطى أكثر قدرة للأجهزة ومجموعات البيانات على نطاق واسع حتى الشبكات العصبية العميقة (DNN) قد تصبح عملية. اعتُقد حتى DNNs ما قبل التدريب باستخدام نماذج توليدية من شبكات الاعتقاد العميق (DBN) من شأنه حتى يتغلب على الصعوبات الرئيسية في الشبكات العصبيةts.ومع ذلك ، تم اكتشاف حتى الاستعاضة عن التدريب المسبق بكميات كبيرة من بيانات التدريب من أجل backpropagation مباشرة عند استخدام DNNs مع طبقات الإخراج الكبيرة التي تعتمد على السياق أنتجت معدلات خطأ أقل بشكل كبير من نموذج مزيج غاوسي الحديث في ذلك الوقت (GMM) ) / نموذج ماركوف المخفي (HMM) وأيضًا من الأنظمة القائمة على النموذج التوليفي الأكثر تطوراً. كانت طبيعة أخطاء التعهد الناتجة عن هذين النوعين من الأنظمة مختلفة بشكل مميز,تم تقديم رؤى تقنية حول كيفية دمج التفهم العميق في نظام فك تشفير الكلام الحالي عالي الكفاءة ، والذي تم نشره بواسطة جميع الأنظمة الرئيسية للتعهد على الكلام .فالتحليل في الفترة ما بين 2009-2010 ، على النقيض من GMM (ونماذج الكلام التوليفية الأخرى) لقاء نماذج DNN ، حيث حفز الاستثمار الصناعي المبكر على التفهم العميق للتعهد وإدراك الكلام, في نهاية المطاف t`g; يؤدي إلى انتشار واسع النطاق والاستخدام المهيمن في تلك الصناعة. وقد تم هذا التحليل مع أداء مشابه (أقل من 1.5 ٪ في معدل الخطأ) بين DNNs التمييزية والنماذج التوليدية.

في عام 2010 ، قام الباحثون بتوسيع التفهم العميق من TIMIT إلى التعهد على كلام المفردات الكبيرة ، من خلال اعتماد طبقات خرج كبيرة من DNN بناءً على حالات HMM التي تعتمد على السياق والتي صاغتها شجرة القرار.

أدت التطورات في الأجهزة إلى الاهتمام المتجدد بالتفهم العميق. ففي عام 2009 ، شاركت Nvidia فيما أطلق عليه "الانفجار الكبير" للتفهم العميق ، "حيث تم تدريب الشبكات العصبية للتفهم العميق مع Nvidia وحدة معالجة الرسومات GPUs graphics processing unit .”في تلك السنة أيضاً، استخدم Google Brain وحدات معالجة الرسومات لـ Nvidia لإنشاء DNNs مؤهَّل. بينما ، قرر Andrew Ng حتى وحدات معالجة الرسومات يمكن حتى تزيد من سرعة أنظمة التفهم العميق بحوالي 100 مرة. على وجه الخصوص ،فإن GPUs مناسبة تمامًا لحسابات المصفوفة / المتجهات التي تشارك في التفهم الآلي. تعمل وحدات معالجة الرسومات على تسريع خوارزميات التدريب بأوامر من الحجم ، مما يقلل من أوقات التشغيل من أسابيع إلى أيام. علاوة على ذلك ، يمكن استعمال تحسينات الأجهزة والخوارزميات المتخصصة من أجل المعالجة الفعالة لنماذج التفهم العميق.


ثورة التفهم العميق

How deep learning is a subset of machine learning and how machine learning is a subset of artificial intelligence (AI).

في عام 2012 ، فاز فريق بقيادة جورج داهل George E. Dahl بـ "Merck Molecular Activity Challenge" باستخدام شبكات عصبية عميقة متعددة المهام للتنبؤ بالهدف الجزيئي الحيوي biomolecular target لدواء واحد ما.في عام 2014 ، استخدمت مجموعة Hochreiter للتفهم العميق لاكتشاف التأثيرات السامة غير المستهدفة للمواد الكيميائية البيئية في المغذيات والمنتجات المنزلية والأدوية وفازت بـ "تحدي بيانات Tox21" لـ NIH وFDA والمركز الوطني المتقدم للعلوم المفسرة NCATS.

تم ملاحظة التأثيرات الإضافية الكبيرة في التعهد على الصور أوالأمور من عام 2011 إلى عام 2012. على الرغم من حتى شبكات CNN المدربة من قبل backpropagation كانت موجودة منذ عقود ، وتطبيقات GPU لشبكات NNs لسنوات ، بما في ذلك شبكات CNN ، والتطبيقات السريعة لشبكات CNN مع التجميع الأقصى على وحدات معالجة الرسومات في النمط من Ciresan وزملائها فقد كانت هنالك حاجة للتقدم في الرؤية الحاسوبية . في عام 2011 ، حقق هذا النهج لأول مرة أداءً خارقاً في مسابقة التعهد على الأنماط المرئية. وفي عام 2011 أيضًا ، فاز بالمسابقة الصينية للكتابة اليدوية ICDAR ، وفي مايو2012 ، فاز بمسابقة تجزئة الصورة ISBI. حتى عام 2011 ، لم تلعب شبكات CNN دورًا رئيسيًا في مؤتمرات رؤية الحاسب ، لكن في يونيو2012 ،من ورقة خطها Ciresan et al. في المؤتمر الرائد ، أظهرت CVPR كيف من الممكن أن يمكن لـ cns-max-pooling على GPU حتى تحسِّن بشكل كبير من الكثير من السجلات القياسية للرؤية الحاسوبية . وفي أكتوبر 2012 ،تم تشكيل نظام مماثل من قبل Krizhevsky et al.ربح ImageNet في المنافسة على نطاق واسع بفارق كبير عن الأساليب السطحية لتفهم الآلة .وفي نوفمبر 2012 ، فاز نظام Ciresan et al. أيضًا بمسابقة ICPR عن تحليل الصور الطبية الكبيرة للكشف عن السرطان ، وفي العام التالي أيضًا فاز MICCAI Grand Challenge حول نفس الموضوع.في عامي 2013 و2014 ، تم تخفيض معدل الخطأ في مهمة ImageNet باستخدام التفهم العميق ، وذلك في أعقاب اتجاه مماثل في التعهد على الكلام على نطاق واسع. نشر مشروع Wolfram لتعريف الصور هذه التحسينات.

ثم تم توسيع تصنيف الصور إلى المهمة الأكثر تحديا المتمثلة في إنشاء أوصاف (تعليق) للصور ، وغالبا ما تكون تعبير عن مزيج من CNNs وLSTMs.

يقدر بعض الباحثين حتى فوز ImageNet في أكتوبر 2012 يرتكز على بداية "ثورة تعليمية عميقة" غيرت صناعة الذكاء الاصطناعي.

في مارس 2019 ، تم منح جميع Yoshua Bengio وGeoffrey Hinton وYann LeCun Turing Award تقديراً عن الاختراقات المفاهيمية والهندسية التي جعلت الشبكات العصبية العميقة مكونًا مهمًا للحوسبة.

الشبكات العصبونية

الشبكات العصبونية الاصطناعية

الموضوعة الرئيسية: الشبكات العصبونية الاصطناعية

تم استيحاء فكرة الشبكات العصبية الاصطناعية 'ANNs' 'أو' التوصيلية ' connectionist نظم الحوسبة من الشبكة العصبية البيولوجية biological neural network التي تشكل عقول الكائنات الحية . فتتفهم مثل هذه الأنظمة (تحسين قدرتها تدريجياً) على القيام بالمهام من خلال النظر في الأمثلة ، بشكل عام دون برمجة خاصة بالمهام. على سبيل المثال ، في التعهد على الصور ، قد يتفهمون كيفية تحديد الصور التي تحتوي على القطط من خلال تحليل أمثلة الصور التي تم يدويًا المسمى Labeled data على أنها "قطة" أو"لا قطة" واستخدام النتائج التحليلية لتحديد القطط في صور اخرى لقد وجدوا معظم الاستخدام في التطبيقات يصعب التعبير عنها باستخدام خوارزمية كمبيوتر تقليدية أي باستخدام البرمجة المستندة إلى القواعد rule-based programming . تعتمد ANN على مجموعة من الوحدات المتصلة تسمى الخلايا العصبية الاصطناعية artificial neuron ، (تشبه الخلايا العصبية البيولوجية في الدماغ البيولوجي) biological brain . يمكن لكل اتصال (المشبك) synapse بين الخلايا العصبية نقل إشارة إلى خلية عصبية أخرى.ويمكن للخلية العصبية المستقبلة (ما بعد المشبكي) معالجة الإشارة (الإشارات) ومن ثم معالجة الإشارة إلى الخلايا العصبية المتلقية لها . قد يحدث للخلايا العصبية حالة ، يتم تمثيلها عمومًا بأرقام حقيقية real numbers ، عادة بين 0 و1. قد يحدث للخلايا العصبية والمشابك أيضًا وزن يختلف مع تقدم التفهم ، مما قد يزيد أويقلل من قوة الإشارة التي يرسلها في اتجاه سياق أوتيار نقل الإشارة . عادة ، يتم تنظيم الخلايا العصبية في طبقات. قد تقوم الطبقات المتنوعة بإجراء أنواع مختلفة من التحويلات على مدخلاتها. تنتقل الإشارات من أول (إدخال) ، إلى آخر طبقة (إخراج) ، وربما بعد اجتياز الطبقات عدة مرات. كان الهدف الأساسي لنهج الشبكة العصبية هوحل المواضيع أوالمشكلات بنفس الكيفية التي يحل بها الدماغ البشري. مع مرور الوقت ، تَركز الانتباه على مطابقة القدرات العقلية المحددة ، مما يؤدي إلى الانحرافات عن فهم الأحياء مثل backpropagation ، أوتمرير المعلومات في الاتجاه المعاكس وضبط الشبكة لتعكس تلك المعلومات. تم استخدام الشبكات العصبية في مجموعة متنوعة من المهام ، بما في ذلك رؤية الكمبيوتر ، التعهد على الكلام speech recognition ، الترجمة الآلية machine translation ، الشبكة الاجتماعية social network ، ألعاب الطاولة وألعاب الصوت والصورة playing board and video games والتشخيص الطبي. اعتبارًا من عام 2017 ، فقد تعددت الشبكات العصبية بما يتراوح بين عدة آلاف إلى بضعة ملايين وحدة وملايين من الوصلات. على الرغم من حتى هذا العددقد يكون أقل بعدة مرات من حيث الحجم من عدد الخلايا العصبية في الدماغ البشري ، فإن هذه الشبكات يمكنها أداء الكثير من المهام على مستوى يتجاوز مستوى البشر (مثل التعهد على الوجوه ، ولعب ألعاب "Go" ).


الشبكات العصبونية العميقة

الشبكة العصبية العميقة (DNN) تعبير عن الشبكة العصبية الاصطناعية artificial neural network (ANN) ذات طبقات متعددة بين طبقات المدخلات والمخرجات. تجد DNN طريقة لمعالجة رياضية سليمة لتحويل المدخلات إلى الإخراج ، سواء أكانت علاقة خطية linear relationship أوعلاقة غير خطية. تنتقل الشبكة عبر الطبقات لحساب احتمال جميع مخرجات. على سبيل المثال ، فإن DNN الذي تم تدريبها على التعهد على سلالات الكلاب يفترض أن تتجاوز الصورة المحددة وتحسب احتمال حتىقد يكون الكلب في الصورة سلالة معينة. يمكن للمستخدم مراجعة النتائج وتحديد الاحتمالات التي يجب حتى تعرضها الشبكة (أعلى من حد معين ، وما إلى ذلك) وإرجاع التسمية المقترحة. جميع معالجة رياضية على هذا النحوتعتبر طبقة ، وDNN المعقدة لها الكثير من الطبقات ، ومن هنا اتىت تسميتها الشبكات "العميقة". يمكن حتى تمثل DNNs العلاقات المعقدة غير الخطية. تقوم بنيات DNN بإنشاء نماذج مركبة حيث يتم التعبير عن الكائن كهجريبة ذات طبقات من بدائية Primitive data type. تمكّن الطبقات الإضافية من تكوين ميزات من الطبقات السفلية ، مما قد يؤدي إلى نمذجة البيانات المعقدة مع وحدات أقل من شبكة سطحية ذات أداء مشابه.

وتضم بنية العمق الكثير من المتغيرات لعدد قليل من النهج الأساسية. عثر في جميع أسلوب بناء نجاحًا في مجالات محددة. لا يمكن دائمًا مقارنة أداء الكثير من البنيات ، ما لم يتم تقييمها على مجموعات البيانات نفسها. عادةً ما تكون DNNs شبكات تغذية حيث يتم من خلالها تدفق البيانات من طبقة الإدخال إلى طبقة الإخراج دون تكرار الحلقات. في البداية ، تقوم DNN بإنشاء خريطة للخلايا العصبية الافتراضية وتعيين قيم رقمية عشوائية ، أو"أوزان" ، للاتصالات فيما بينها. يتم مضاعفة الأوزان والمدخلات وإرجاع ناتج ما بين 0 و1. إذا لم تتعهد الشبكة بدقة على نمط معين ، فستقوم الخوارزمية بضبط تلك الأوزان.وبهذه الطريقة ، يمكن للخوارزمية حتى تجعل بعض البارامترات أكثر نفوذاً ، إلى حتى تحدد المعالجة الرياضية السليمة لمعالجة البيانات بالكامل.

الشبكات العصبية المتكررة Recurrent neural networks (RNNs) ، والتي يمكن حتى تتدفق البيانات في أي اتجاه ،حيث تستخدم لتطبيقات مثل نموذج اللغة language model .حيث نجد حتى الذاكرة طويلة المدى فعالة بشكل خاص لهذا الاستخدام.

وحيث تستخدم في رؤية الكمبيوتر  الشبكات العصبية العميقة التلافيفية (CNNs)Convolutional deep neural networks (CNNs) .تم تطبيق CNNs أيضًا على النموذج صوتي acoustic modeling للحصول على التعهد التلقائي على الكلام (ASR).

التحديات

كما هوالحال مع ANNs ، يمكن حتى تنشأ الكثير من المشكلات مع DNNs المدربة بطريقة سطحية. فهنالك مشكلتان شائعتان هما التجاوز overfitting ووقت الحساب. DNNs عرضة للهجريب الزائد بسبب الطبقات المضافة من التجريد والأفكار الملخصة ، والتي تسمح لهم بنمذجة التبعيات النادرة في بيانات التدريب.و التنظيم Regularization (mathematics) طريقة من طرق مثل تشذيب وحدة Ivakhnenko أواضمحلال الوزن (-regularization) sparse matrixأوالتفرق والانفصال (-regularization) يمكن تطبيقها أثناء التدريب لمكافحة التجاوز. وبدلاً من ذلك ، يحذف تنظيم التسرب بشكل عشوائيّ الوحدات من الطبقات المخفية أثناء التدريب. هذا ما يساعد على استبعاد التبعيات النادرة.أخيرًا ، يمكن زيادة البيانات من خلال أساليب مثل أخذ النتائج وتدويرها بحيث يمكن زيادة حجم مجموعات التدريب الأصغر لتقليل فرص التجهيز الزائد أوالهجريب .

يجب حتى تراعي DNN الكثير من بارامترات التدريب ، مثل الحجم (عدد الطبقات وعدد الوحدات لكل طبقة) ومعدل التفهم learning rate والأوزان الأولية. Sweeping through the parameter space للبارامترات المثلى قد لاقد يكون ممكنًا بسبب التكلفة في الوقت والموارد الحسابية. والحيل المتنوعة ، مثل الخلط (حساب التدرج اللوني على الكثير من الأمثلة التدريبية في وقت واحد بدلاً من الأمثلة الفردية) تسريع الحساب. حيث أنتجت قدرات المعالجة الكبيرة للعديد من البنى الأساسية (مثل GPUs أوIntel Xeon Phi) سرعات كبيرة في التدريب ، بسبب ملاءمة بنية المعالجة لهذه المصفوفات وحسابات المتجهات. بدلاً من ذلك ، قد يبحث المهندسون عن أنواع أخرى من الشبكات العصبية مع خوارزميات تدريب أكثر وضوحًا وتقاربًا. CMAC (وحدة التحكم المفصلية للنموذج المخيخي) cerebellar model articulation controller هوأحد هذه الشبكات العصبية. لا تتطلب معدلات تفهم أوأوزان أولية عشوائية لـ CMAC. حيث يمكن ضمان حتى تتقارب عملية التدريب في خطوة واحدة مع مجموعة جديدة من البيانات ، ويكون التعقيد الحسابي لخوارزمية التدريب خطياً فيما يتعلق بعدد الخلايا العصبية المعنية.

التطبيقات

التعهد التلقائي على الكلام

الموضوعة الرئيسية: التعهد على الكلام

يعد التعهد التلقائي على الكلام على نطاق واسع أول حالة ناجحة وأكثرها إقناعًا للتفهم العميق. يمكن لشبكات LSTM RNN حتى تتفهم مهام "التفهم العميق جدًا" التي تتضمن فواصل زمنية مدتها عدة ثوانٍ تحتوي على أحداث كلامية مفصولة بآلاف المراحل الزمنية المنفصلة ، حيث تتوافق المستوى الواحدة مع حواليعشرة مللي ثانية. LSTM مع نسيان البوابات الدخل s منافسة مع أدوات التعهد على الكلام التقليدية في بعض الحالات والمهمات .

كان النجاح الأولي في التعهد على الكلام يعتمد على مهام التعهد على نطاق صغير على أساس TIMIT. حيث تحتوي مجموعة البيانات على 630 متحدثًا من ثمانية لهجات dialect رئيسية من اللغة الإنجليزية الأمريكية American English ، حيث يقرأ جميع متحدثعشرة جمل. حجمها الصغير يتيح تجربة الكثير من التكوينات. الأهم من ذلك ، حتى مهمة TIMIT تتعلق بالتعهد على تسلسل الهاتف ، والذي ، على عكس التعهد على تسلسل الحدثات ، يسمح بنماذج لغة ضعيفة bigram للهاتف. يتيح ذلك تحليل جوانب النمذجة الصوتية للتعهد على الكلام بسهولة أكبر. تم تلخيص معدلات الخطأ المذكورة أدناه ، بما في ذلك هذه النتائج المبكرة والتي تم قياسها كنسبة مئوية من معدلات أخطاء الهاتف (PER) ، منذ عام 1991.

المنهج "معدل الخطأ
بالمئة" (%)
التهيئة العشوائية ل RNN 26.1
النظرية الافتراضية GMM-HMM 25.6
نموذج مسار خفي إنتاجي 24.8
تهيئة أحادية لDNN بشكل عشوائي 23.4
تهيئة أحادية لDBN-DNN 22.4
تهيئة سلسلة ثلاث أصوات GMM-HMM مع تدريب لBMMI 21.7
تهيئة أحادية لDBN-DNN على fnank 20.7
تلافيف DNN 20.0
تلافيف DNN w. مع تجمع غير متجانس 18.7
تجمع لDNN/CNN/RNN 18.3
LSTM ثنائية الاتجاه 17.9
التسلسل الهرمي التوافقي العميق لشبكة Maxout 16.5

ظهرت DNNs للتعهد على المتحدثين في أواخر التسعينيات والتعرّف على الكلام في الفترة بين 2009-2011 وLSTM في الفترة 2003-2007 ،حيث تسارعت وتيرة التقدم في ثمانية مجالات رئيسية:

  • زيادة/توسيع وتسريع تدريب DNN وفك التشفير
  • تمييز تسلسل التدريب
  • ميزة معالجة النماذج العميقة مع فهم قوي للآليات الأساسية
  • التكيف مع DNNs والنماذج العميقة ذات صلة
  • التفهم متعدد المهام Multi-task learning و نقل التفهم Inductive transfer بواسطة DNNs والنماذج العميقة ذات صلة
  • شبكات CNN وكيفية تصميمها لاستغلال مجال الفهم domain knowledge على أفضل وجه
  • RNN ومتغيرات LSTM الغنية به
  • أنواع أخرى من النماذج العميقة بما في ذلك النماذج القائمة على الموتر والنماذج العميقة / التمييزية المتكاملة.

11 من الأنظمة التجارية الكبرى للتعهد على الكلام (مثل , Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa, Google Now, Apple Siri, Baidu and iFlyTek voice search, and a range of Nuance speech products, etc.) جميعها تعتمد على التفهم العميق .

التعهد على الصور

الموضوعة الرئيسية: الرؤية الحاسوبية

MNIST هي مجموعة التقييم الشائعة لتصنيف الصور فهي مجموعة بيانات لقاعدة البيانات . تتكون MNIST من أرقام مكتوبة بخط اليد ويتضمن 60000 أمثلة تدريبية و10000 من أمثلة الاختبار. كما هوالحال مع TIMIT ، حيث يتيح حجمها الصغير للمستخدمين اختبار تكوينات متعددة. وتتوفر قائمة شاملة بالنتائج على هذه المجموعة.

وجدنا حتى التعهد على الصور القائم على التفهم العميق "خارقًا للإنسان" ، مما أدى إلى نتائج أكثر دقة من نتائج المتسابقين من البشر. وقع هذا لأول مرة في عام 2011.

المركبات والمحركات المدرَّبة على التفهم العميق توضح لنا الآن رؤية الكاميرا والمعاينة بزاوية 360 درجة. مثال آخر هوالتحليل الغير مألوف للتشوه الوجهي (FDNA) المستخدم لتحليل حالات التشوه البشري المرتبطة بقاعدة بيانات كبيرة من المتلازمات الجينية.

معالجة الفنون البصرية

هذا ما يرتبط ارتباطًا وثيقًا بالتقدم الذي تم إحرازه في التعهد على الصور بالتطبيق المتزايد لتقنيات التفهم العميق على مختلف مهام الفنون البصرية. أثبتت DNNs قدرتها على ، على سبيل المثال ، أ) تحديد الأسلوب المستخدم في لوحة ما وفي حقبة زمنية ما ، ب) Neural Style Transfer - التقاط نمط عمل فني معين وتطبيقه بطريقة سقمية بصريًا على صورة عشوائية أوفيديو، وج) إنشاء صور ملفتة للنظر استنادًا إلى حقول الإدخال البصري العشوائية.

معالجة الشبكات العصبونية

الموضوعة الرئيسية: معالجة الشبكات العصبونية

تم استخدام الشبكات العصبونية لتطبيق نماذج اللغة منذ أوائل العقد الأول من القرن العشرين. حيث ساعدت LSTM في تحسين الترجمة الآلية ونمذجة اللغة.

التقنيات الرئيسية الأخرى في هذا المجال هي أخذ العينات السلبية وتضمين الحدثة word embedding . حيث يمكن اعتبار تضمين الحدثات ، مثل "[[[word2vec]]"] ، طبقة تمثيلية في بنية تفهم عميقة تحوّل حدثة ذرية أومحورية ما إلى تمثيل موضعي للحدثة بالنسبة إلى حدثات أخرى في مجموعة البيانات ؛ يتم تمثيل الموضع كنقطة في مساحة المتجه vector space . ويتيح استخدام تضمين الحدثات كطبقة إدخال RNN للشبكة تحليل الجمل والعبارات باستخدام قواعد متجهية فعالة.حيث يمكن اعتبار القواعد النحوية للمتجهات بمثابة قواعد احتمالية خالية من السياق الاحتمالي probabilistic context free grammar (PCFG) يتم تطبيقها بواسطة RNN. يمكن حتى تقوم أجهزة التشفير التلقائي التكرارية والتي تم تصميمها بناء على الحدثات المضمنة بتقييم تشابه الجمل واكتشاف إعادة الصياغة. تقدم البنى العصبونية العميقة أفضل النتائج لـ تحليل الدوائر الانتخابية constituency parsing , sentiment analysisةتحليل المشاعر , استرجاع المعلومات, فهم اللغة المتكلَّم بها , الترجمة الآلية , ربط كيان ما في سياق ما , التعهد على أسلوب الكتابة, تصنيف النصوص وغيرها.

التطويرات الأخيرة تعمم تضمين الحدثة word embedding إلى تضمين الجملة sentence embedding .


تستخدم الترجمة من Google Google Translate شبكة ذاكرة كبيرة طويلة المدى نهاية إلى نهاية End to end . الترجمة الآلية من Google (GNMT) Google Neural Machine Translation تستخدم الترجمة الآلية المستندة إلى الأمثلة Google Neural Machine Translation التي يتفهم فيها النظام "من ملايين الأمثلة."يقوم بترجمة "جمل كاملة في وقت واحد ، بدلا من البتر . ترجمة Google تدعم أكثر من مائة لغة .ترمز الشبكة إلى "دلالات الجملة وألفاظها" بدلاً من مجرد حفظ ترجمات العبارة إلى جمل". تستخدم ترجمة Google اللغة الإنجليزية كوسيط بين معظم أزواج اللغات.

اكتشاف الأدوية وفهم السموم

لمعلومات عن more information، انظر Drug discovery وToxicology.

تفشل نسبة كبيرة من الأدوية المرشحة في الحصول على موافقة الجهات التنظيمية.حيث تنجم هذه الإخفاقات عن عدم كفاية الفعالية (التأثير على الهدف) ، أوالتفاعلات غير المرغوب فيها (الآثار غير المستهدفة) ، أوغير المتسقطة التأثيرات السامة toxic effects . اكتشف البحث استخدام التفهم العميق لتنبؤ الأهداف الجزيئية الحيوية biomolecular targets , , والآثار غير المستهدفة و التأثيرات السامة toxic effects للمواد الكيميائية البيئية في العناصر الغذائية والمنتجات المنزلية والعقاقير.

AtomNet تعبير عن نظام تعليمي عميق قائم على البنية تصميم الأدوية rational drug design . تم استخدام AtomNet للتنبؤ بالجزيئات الحيوية المرشحة الجديدة لأهداف سقمية مثل Ebola virus وتصلب الأنسجة المتعدد multiple sclerosis]. في عام 2019 ، استخدمت الشبكات العصبية التوليدية لإنتاج جزيئات تم التحقق من صحتها تجريبياً على الفئران , .

إدارة علاقات العملاء

الموضوعة الرئيسية: إدارة علاقات العملاء

تم استخدام التفهم التعزيزي العميق لتقريب قيمة الإجراءات للترويج المباشر direct marketing المحتملة ، المعرّفة من حيث المتغيرات | RFM customer value . تم توضيح حتى وظيفة القيمة المقدرة لها تفسير طبيعي على أنها قيمة عمر العميل customer lifetime value .

نظم التوصية

الموضوعة الرئيسية: نظم التوصية

استخدمت أنظمة التوصية التفهم العميق لاستخلاص سمات ذات مغزى لبناء نموذج عوامل كامنةقد يكون قادر على اقتراح مقطوعات موسيقية بناء على الاختيارات السابقة لنفس المستخدم. تم تطبيق التفهم العميق متعدد المقاطع لتفهم تفضيلات المستخدم في مجالات متعددة.يستخدم النموذج مقاربة هجينة متعاونة وقائمة على المحتوى ويعزز التوصيات في مهام متعددة.

المعلوماتية الحيوية

الموضوعة الرئيسية: المعلوماتية الحيوية

تم استخدام التشفير التلقائي ANN autoencoder في المعلوماتية الحيوية bioinformatics ، للتنبؤ بشروح الجينات الوجودية gene ontology وعلاقات الوظيفة الجينية.

في المعلوماتية الطبية ، تم استخدام التفهم العميق للتنبؤ بجودة النوم بناءً على بيانات من الأجهزة القابلة للارتداءوتسقطات المضاعفات الصحية من بيانات الإنضمامات الصحية بطريقة إلكترونية electronic health record . أظهر التفهم العميق أيضًا فاعلية في الرعاية الصحية healthcare .

تحليل الصور الطبية

لقد تبين حتى التفهم العميق قام بتقديم نتائج تنافسية في التطبيقات الطبية مثل تصنيف خلايا السرطان ، واكتشاف الأمراض ، وتجزئة الأعضاء وتحسين الصور

إعلانات الهاتف المحمول

إن العثور على جمهور مناسب لـ إعلانات الهاتف المحمول Mobile advertising هوأمر قاسي دائمًا ، حيث وجب النظر في الكثير من نقاط البيانات وفهمها قبل إنشاء شريحة مستهدفة واستخدامها في عرض الإعلانات بواسطة أي مخدم إعلانات.لقد تم استخدام التفهم العميق في تفسير مجموعات البيانات الإعلانية الكبيرة متعددة الأبعاد. حيث يتم جمع الكثير من نقاط البيانات عند الطلب / الخدمة / النقرة على الإنترنت خلال دورة الإعلان . ويمكن حتى تشكل هذه المعلومات أساسًا للتفهم الآلي لتحسين اختيار الإعلانات.

استعادة الصور

لقد نجح تطبيق التفهم العميق على حل القضايا بطريقة معكوسة inverse problems مثل إزالة الضجيج أوالتنقية denoising ، الدقة العالية super-resolution ، الاكتشاف inpainting ، وتلوين الأفلام film colorization . تتضمن هذه التطبيقات طرقًا تعليمية مثل "تقليص الحقل من أجل الاستعادة الفعالة للصورة "حيث يتم التدرب على مجموعة بيانات الصورة ، Deep Image Prior حيث تتدرب على الصورة التي بحاجة إلى استعادة.

اكتشاف الاحتيال المالي

يتم تطبيق التفهم العميق بطريقة ناجحة على كشف الاحتيال fraud detection المالي ومكافحة غسيل الأموال. حيث "تمكن النظام الكشف العميق عن مكافحة غسل الأموال من اكتشاف العلاقات والتشابهات بين البيانات والتعهد عليها ، وكذلك تفهم كيفية اكتشاف الحالات الشاذة أوتصنيف أحداث معينة والتنبؤ بها". يمكن حل هذه القضية بتعزيز وتقوية جميع من تقنيات التفهم الخاضعة للإشراف ، مثل تصنيف المعاملات المشبوهة والتفهم غير الخاضع للإشراف ، على سبيل المثال كاكتشاف أي شدوذ .

الناحية العسكرية

طبقت وزارة الدفاع الأمريكية التفهم العميق لتدريب الروبوتات في مهام جديدة من خلال عملية الملاحظة.

العلاقة مع التنمية البشرية من الناحية المعهدية وتطوير الإدراك

يرتبط التفهم العميق ارتباطًا وثيقًا بفئة من نظريات نمووتطور الدماغ brain development (على وجه التحديد ، نموالقشرة المخية حديثاً) التي اقترحها فهماء الأعصاب الإدراكية cognitive neuroscientists في أوائل التسعينيات. تم إنشاء أمثلة لهذه النظريات التنموية في النماذج الحسابية ، مما يجعلها نماذجاً لأنظمة التفهم العميق. تشهجر هذه النماذج التنموية في الخاصية التي تدعمها مختلف ديناميكيات التفهم المقترحة في الدماغ (على سبيل المثال ، موجة من عامل نموالأعصاب) nerve growth factor والداعمة للتنظيم الذاتي self-organization المماثلة إلى حد ما للشبكات العصبية المستخدمة في نماذج التفهم العميق. مثل neocortex ، تستخدم الشبكات العصبية تسلسلًا هرميًا من المرشحات ذات الطبقات التي تأخذ جميع طبقة في الاعتبار المعلومات من طبقة سابقة (أوبيئة التشغيل) ، ثم تقوم بتمرير الخرج الخاص بها (وربما الإدخال الأصلي) ، إلى طبقات أخرى. تعطي هذه العملية مجموعة ذاتية التنظيم من محول ، مضبوطة جيدًا لبيئة التشغيل الخاصة بها. اتى في وصف عام 1995 ، "... يظهر حتى دماغ الرضيع ينظم نفسه تحت تأثير موجات ما يسمى بالعوامل التغذوية ... حيث تتصل مناطق مختلفة من الدماغ بشكل تسلسلي ، مع وجود طبقة من الأنسجة تنضج قبل الأخرى إلى غير ذلك حتى ينضج تام الدماغ ."

وقد تم استخدام مجموعة متنوعة من الأساليب للتحقيق في مدى معقولية نماذج التفهم العميق من منظور بيولوجي عصبي. من ناحية ، تم اقتراح الكثير من المتغيرات لخوارزمية backpropagation من أجل زيادة واقعية المعالجة.تجادل باحثون آخرون بأن الأشكال غير الخاضعة للرقابة للتفهم العميق ، مثل تلك القائمة على التسلسل الهرمي نماذج التوليف generative models وشبكات الاعتقاد والمسلمات العميقة deep belief networks ، قد تكون أقرب إلى الواقع البيولوجي. في هذا الصدد ، ارتبطت نماذج الشبكة العصبية التوليدية بالأدلة البيولوجية العصبية حول المعالجة القائمة على أخذ العينات في القشرة الدماغية..

على الرغم من عدم إجراء مقارنة منهجية بين تنظيم الدماغ البشري وترميز الخلايا العصبية في الشبكات العميقة ، فقد تم الإبلاغ عن الكثير من التشابهات. على سبيل المثال ، يمكن حتى تكون العمليات الحسابية التي تقوم بها وحدات التفهم العميق مماثلة لتلك الموجودة في الخلايا العصبية العملية وذات الكثافة العصبية. وبالمثل ، فإن التمثيلات التي طورتها نماذج التفهم العميق تشبه تلك المقاسة في النظام البصري للكائنات الحية من رتبة الرئيسيات سواء في وحدة واحدة أو على رتبة السكان .

النشاط التجاري

تنفذ مختبرات الذكاء الاصطناعي لFacebook مهاماً مثل وضع علامات على الصور التي تم تحميلها تلقائيًا automatically tagging uploaded pictures مع أسماء الأشخاص الموجودين فيها.

طورت DeepMind Technologie من Google نظامًا قادرًا على تفهم كيفية لعب Atari ألعاب الصوت والصورة باستخدام وحدات البكسل فقط كمدخلات للبيانات. في عام 2015 ، أظهر نظامهم AlphaGo ، الذي تفهم لعبة Go جيدًا بما يكفي للتغلب على لاعب Go محترف. Google Translate uses an LSTM to translate between more than 100 languages.

في عام 2015 ، أظهر Blippar ,i, تطبيقًا محمولًا للواقع المعزز augmented reality يستخدم التفهم العميق للتعهد على الأمور في الوقت الحقيقي.

في عام 2017 ، تم إطلاق Covariant.ai ، والذي يركز على دمج التفهم العميق في المصانع.

اعتباراً من عام 2008, طور باحثون في جامعة تكساس في أوستن The University of Texas at Austin (UT) إطارًا للتفهم الآلي يدعى "تدريب العامل يدويًا عن طريق التعزيز التقييمي ، أوTAMER" ، الذي اقترح أساليب جديدة للروبوتات أوبرامج الكمبيوتر لتفهم كيفية أداء المهام من خلال التفاعل مع مدرب بشري. تم التطوير لأول مرة باسم TAMER ، بعدها تم تقديم خوارزمية جديدة تسمى Deep TAMER في عام 2018 أثناء التعاون بين الولايات المتحدة مختبر أبحاث الجيش U.S. Army Research Laboratory (ARL) وباحثي UT.حيث استخدم Deep TAMER التفهم العميق لتوفير القدرة على تفهم مهام جديدة للروبوتات عن طريق الملاحظة. باستخدام Deep TAMER ، تم تعليم الروبوت المهمة مع مدرب بشري ، ومشاهدة سياق الصوت والصورةهات أومراقبة إنسان يقوم بمهمة شخصية. حيث مارس الروبوت فيما بعد المهمة عن طريق بعض التدريب من المدرب ، الذي قدم ملاحظات مثل "عمل جيد" و"عمل سيئ".”

تعليقات وملاحظات

لقد جذب التفهم العميق كلاً من النقد أوالملاحظات والتعليقات ، وفي بعض الحالات من خارج مجال علوم الكمبيوتر.

الجانب النظري

انظر أيضاً: شرح نظرية الذكاء الصنعي

يرتبط النقد أوالملاحظات الأساسية بعدم وجود نظرية حول بعض الأساليب أوالنهج المتبعة. تم تطبيق نظرية التفهم في أكثر البنى العميقة شيوعاً باستخدام النسب المتدرجة التي تم فهمها جيداً. ومع ذلك ، فإن النظرية المحيطة بالخوارزميات الأخرى ، مثل الانحراف أوالتباعد المتباين ، فهي أقل وضوحًا.[] (على سبيل المثال ، هل تتقارب،يا ترى؟ إذا كان الأمر كذلك ، فما مدى سرعة التقريب؟) غالبًا ما ينظر إليها على أنها صندوق أسود Black Box ، مع معظم التأكيدات التي تمت تجريبياً ، بدلاً من الناحية النظرية.

يشير آخرون إلى أنه ينبغي النظر إلى التفهم العميق كخطوة نحوتحقيق ذكاء اصطناعي متين، وليس كحل شامل. على الرغم من قوة أساليب التفهم العميق ، إلا أنها لا تزال تفتقر إلى الكثير من الوظائف اللازمة لتحقيق هذا الهدف بالكامل. لاحظ عالم النفس البحثي جاري ماركوس:

"من الناحية الواقعية ، التفهم العميق ليس سوى جزء من التحدي الأكبر المتمثل في بناء الآلات الذكية. هذه التقنيات تفتقر إلى طرق لتمثيل العلاقات السببية causal relationships (...) ليست لديها طرق واضحة ل أداء استدلالات منطقية logical inferences ، وهي لا تزال بعيدة عن دمج الفهم المجردة ، مثل المعلومات حول ماهية الأمور ، وما هدفها ، وكيف يتم استخدامها عادةً. أقوى أنظمة الذكاء الاصطناعي ، مثل Watson (...) يستخدم تقنيات مثل التفهم العميق كعنصر واحد فقط في مجموعة معقدة للغاية من التقنيات ، بدءاً من التقنية الإحصائية الاستدلال البايزي Bayesian inference إلى الاستنتاج المنطقي deductive reasoning ."

وكبديل لهذا الهجريز والتشديد على حدود التفهم العميق ، تكهن أحد المؤلفين بأنه قد يحدث من الممكن تدريب مجموعة الرؤية الآلية لأداء المهمة المعقدة المتمثلة في التمييز بين "الرسومات القديمة" ورسومات تخيلات الهواة ، وافترض حتى هذه الحساسية قد تمثل أساسيات التفاعل مع آلة غير مبتذلة. اقترح هذا المؤلف نفسه حتى يتماشى ذلك مع الأنثروبولوجيا أي العلوم الإنسانية ، التي تحدد الاهتمام بالجماليات كعنصر أساسي في الحداثة السلوكية behavioral modernity.

في إشارة أخرى إلى فكرة حتى الحساسية الخلاقة أوالفنية قد تندرج ضمن مستويات منخفضة نسبيًا من التسلسل الهرمي المعهدي ، لدينا مثلاً سلسلة منشورة من الرسوم البيانية للحالات الداخلية للشبكات العصبية العميقة (20-30 طبقة) تحاول تمييز الصور من البيانات العشوائية خاصة عن طريق الشبكات التي تم تدريبهاإثبات وإثبات فكرة الجاذبية بصرية : حيث تلقى الإشعار البحثي الأصلي أكثر من 1000 تعليق ، وكان موضوعًا لما كان في وقت ما أكثر الموضوعات التي يتم الوصول إليها بشكل متكرر على مسقط الويب الخاص بـ The Guardian.

الأخطاء

تعرض بعض بنى التفهم العميق سلوكيات إشكالية ومريبة ،مثلاً كالتصنيف بشكل موثوق للصور الغير معروفة على أنها تنتمي إلى فئة مألوفة من الصور العادية وتصنيف الاضطرابات الضئيلة من الصور المصنفة بشكل سليم.افترض Goertzel حتى هذه السلوكيات ترجع إلى قيود في تمثيلاتها الداخلية وأن هذه القيود ستحول دون الاندماج في بنى متعددة المكونات غير متجانسة كالذكاء العام الاصطناعي artificial general intelligenc (AGI). قد تتم معالجة هذه المشكلات من خلال بنى التفهم العميقة التي تشكل حالات متجانسة لقواعد الصورة الداخليةتحليل الكيانات والأحداث المرصودة والتي تم ملاحظتها.ف تفهم القواعد Learning a grammar (المرئية أواللغوية) من بيانات التدريب سيكون مكافئًا لتقييد النظام بـ الاستنتاج بالمنطق السليم commonsense reasoning الذي يعمل وفقًا لمفاهيم القواعد النحوية قواعد الإنتاج production rules وهوهدف أساسي لاكتساب اللغة البشرية والذكاء الصناعي (AI).

التهديدات السيبرانية

مع انتنطق التفهم العميق من المختبر إلى العالم الحقيقي ، تُظهر الأبحاث والتجارب حتى الشبكات العصبية الاصطناعية عرضة للاختراقات والتضليل .من خلال تحديد الأنماط التي تستخدمها هذه الأنظمة لأداء المهمة ، يمكن للمهاجمين تعديل المدخلات على شبكات ANN بكيفية تجعل الشبكة ANN مطابقة بشكل لم يتعهد عليه المراقبون. على سبيل المثال ، يمكن للمهاجم إجراء تغييرات طفيفة على صورة بحيث يجد ANN تطابقًا على الرغم من حتى الصورة تتطلع إلى إنسان لا يشبه هدف البحث. مثل هذا التلاعب يسمى "الهجوم العدائي.” في عام 2016 ، استخدم الباحثون ANN لصور طبية الطبيب بكيفية التجريب والأخطاء ، وتحديد نقاط الاتصال الخاصة بالأشخاص الآخرين ، وبالتالي إنشاء صور خادعة . الصور المعدلة لا تبدومختلفة عن عيون البشر. وقد أظهرت مجموعة أخرى حتى الصور المطبوعة التي تمت معالجتها ثم صُورت بنجاح قامت بخداع نظام تصنيف الصور. أحد الدفاعات هوالبحث العكسي عن الصور ، حيث يتم إرسال صورة بتزييف محتمل إلى مسقط مثل TinEye يمكنه حينئذٍ العثور على مثيلات أخرى منها . أما التنقيح هوالبحث باستخدام أجزاء فقط من الصورة ، لتحديد الصور التي من الممكن تم أخذ تلك البترة منها "" "." ""

أظهرت مجموعة أخرى حتى بعض الفن المخدر Psychedelic art يمكن حتى تخدع نظام التعهد على الوجه facial recognition system إلى الاعتقاد بأن الناس العاديين هم من المشاهير ، مما يسمح لشخص ما بانتحال شخصية فرد آخر. في عام 2017 ، أضاف الباحثون ملصقات إلى علامات التوقف stop sign وتسببت في إصابة ANN بسوء تصنيفها.

ومع ذلك ، يمكن تدريب ANNs أيضًا على اكتشاف محاولات الخداع والغش ، مما يحتمل حتى يقود المهاجمين والمدافعين إلى سباق للتسلح على غرار النوع المعروف مسبقاً بالصناعة الدفاعية كالبرامج الضارة malware . فتم تدريب ANN على هزيمة برنامج مكافحة البرامج الضارة المستندة إلى ANN من خلال مهاجمة دفاع بشكل متكرر باستخدام برامج ضارة تم تغييرها باستمرار بواسطة خوارزمية وراثية genetic algorithm حتى تخدع البرامج الضارة مع الحفاظ على قدرتها على إتلاف الهدف.

أثبتت مجموعة أخرى حتى بعض الأصوات قد تجعل Google Now نظام الأوامر الصوتية يفتح عنوان ويب معينًا من شأنه تنزيل بعض من البرامج الضارة.

في ما يسمى "بتسمم البيانات" ، يتم تهريب البيانات الخاطئة باستمرار إلى مجموعة تدريب على أنظمة التفهم الآلي لمنعها من تحقيق الإتقان في الإنجاز..

نرى أيضاً

  • تطبيقات في الذكاء الصناعي Applications of artificial intelligence
  • مقارنة بين برامج التفهم العميق Comparison of deep learning software
  • الاستشعار المضغوط Compressed sensing
  • Echo state network
  • قائمة مشاريع الذكاء الاصطناعي List of artificial intelligence projects
  • Liquid state machine
  • قائمة مجموعات البيانات لبحوث التفهم الآلي List of datasets for machine learning research
  • الحوسبة الاحتياطية Reservoir computing
  • الترميز المنتشر أوالمتضائل sparse coding

المراجع

  1. ^ Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338.
  2. ^ Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.
  3. ^ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442.
  4. ^ Ciresan, Dan; Meier, U.; Schmidhuber, J. (June 2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition: 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN .
  5. ^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada.
  6. ^ "Google's AlphaGo AI wins three-match series against the world's best Go player". TechCrunch. 25 May 2017.
  7. ^ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "Toward an Integration of Deep Learning and Neuroscience". Frontiers in Computational Neuroscience. 10: 94. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554.
  8. ^ Olshausen, B. A. (1996). "Emergence of simple-cell receptive field properties by learning a sparse code for natural images". Nature. 381 (6583): 607–609. Bibcode:1996Natur.381..607O. doi:10.1038/381607a0. PMID 8637596.
  9. ^ نطقب:Cite arxiv
  10. ^ Schulz, Hannes; Behnke, Sven (2012-11-01). "Deep Learning". KI - Künstliche Intelligenz (in الإنجليزية). 26 (4): 357–363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987.
  11. ^ Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039.
  12. ^ Bengio, Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. Archived from the original (PDF) on 2016-03-04. Retrieved 2015-09-03.
  13. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 May 2015). "Deep learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442.
  14. ^ (2007) "Greedy layer-wise training of deep networks" in Advances in neural information processing systems.: 153-160. 
  15. ^ Jürgen Schmidhuber (2015). Deep Learning. Scholarpedia, 10(11):32832. Online
  16. ^ Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  17. ^ Balázs Csanád Csáji (2001). Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary
  18. ^ Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. Archived from the original (PDF) on 2015-10-10.
  19. ^ Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  20. ^ Haykin, Simon S. (1999). . Prentice Hall. ISBN .
  21. ^ Hassoun, Mohamad H. (1995). . MIT Press. p. 48. ISBN .
  22. ^ Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width. Neural Information Processing Systems, 6231-6239.
  23. ^ Murphy, Kevin P. (24 August 2012). . MIT Press. ISBN .
  24. ^ Patel, Ankit; Nguyen, Tan; Baraniuk, Richard (2016). "A Probabilistic Framework for Deep Learning" (PDF). Advances in Neural Information Processing Systems.
  25. ^ Sonoda, Sho; Murata, Noboru (2017). "Neural network with unbounded activation functions is universal approximator". Applied and Computational Harmonic Analysis. 43 (2): 233–268. doi:10.1016/j.acha.2015.12.005.
  26. ^ نطقب:Cite arXiv
  27. ^ Bishop، ChristopherM. (2006). (PDF). Springer. ISBN .
  28. ^ Rina Dechter (1986). بالتفهم أثناء البحث في مشاكل الرضا والقبول بالقيود والحدود . في جامعة كاليفورنيا ، قسم علوم الكمبيوتر ، مختبر النظم المعهدية.Online
  29. ^ Igor Aizenberg, Naum N. Aizenberg, Joos P.L. Vandewalle (2000). Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications. Springer Science & Business Media.
  30. ^ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.
  31. ^ Ivakhnenko, A. G. (1973). . CCM Information Corporation.
  32. ^ Ivakhnenko, Alexey (1971). "Polynomial theory of complex systems". IEEE Transactions on Systems, Man and Cybernetics. 1 (4): 364–378. doi:10.1109/TSMC.1971.4308320.
  33. ^ Fukushima, K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. 36 (4): 193–202. doi:10.1007/bf00344251. PMID 7370364.
  34. ^ Seppo Linnainmaa (1970). تمثيلاً لخطأ التقريب التراكمي لخوارزمية كمنشور تايلور لأخطاء التقريب المحلية . في رسالة ماجستير (بالفنلندية) ، جامعة. هلسنكي.
  35. ^ Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?" (PDF). Documenta Mathematica (Extra Volume ISMP): 389–400. Archived from the original (PDF) on 2017-07-21. Retrieved 2017-06-11.
  36. ^ Werbos, P. (1974). "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences". Harvard University. Retrieved 12 June 2017.
  37. ^ Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis" (PDF). System modeling and optimization. Springer. pp. 762–770.
  38. ^ LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, 1, pp. 541–551, 1989.
  39. ^ J. Weng, N. Ahuja and T. S. Huang, " Cresceptron: a self-organizing neural network which grows adaptively," Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I, pp. 576-581, June, 1992.
  40. ^ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Computer Vision, Berlin, Germany, pp. 121-128, May, 1993.
  41. ^ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation using the Cresceptron," International Journal of Computer Vision, vol. 25, no. 2, pp. 105-139, Nov. 1997.
  42. ^ de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (1994-08-08). "An integrated Boolean neural network for pattern classification". Pattern Recognition Letters. 15 (8): 807–813. doi:10.1016/0167-8655(94)90009-4.
  43. ^ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (1995-05-26). "The wake-sleep algorithm for unsupervised neural networks". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831.
  44. ^ S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen," Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  45. ^ Hochreiter, S.; et al. (15 January 2001). "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies". In Kolen, John F.; Kremer, Stefan C. (eds.). A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons. ISBN .
  46. ^ Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1993-08-01). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
  47. ^ Robinson, T. (1992). "A real-time recurrent error propagation network word recognition system". ICASSP. Icassp'92: 617–620. ISBN .
  48. ^ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). "Phoneme recognition using time-delay neural networks" (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518.
  49. ^ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166.
  50. ^ Bengio, Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". McGill University Ph.D. thesis.
  51. ^ Deng, L.; Hassanein, K.; Elmasry, M. (1994). "Analysis of correlation structure for a neural predictive model with applications to speech recognition". Neural Networks. 7 (2): 331–339. doi:10.1016/0893-6080(94)90027-2.
  52. ^ Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design". Speech Communication. 31 (2): 181–192. doi:10.1016/s0167-6393(99)00077-1.
  53. ^ "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)". ResearchGate. Retrieved 2017-06-14.
  54. ^ Hochreiter, Sepp; Schmidhuber, Jürgen (1997-11-01). "Long Short-Term Memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276.
  55. ^ Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184.
  56. ^ Graves, Alex; Fernández, Santiago; Gomez, Faustino (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX 10.1.1.75.6306.
  57. ^ Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting. Proceedings of ICANN (2), pp. 220–229.
  58. ^ Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). "Google voice search: faster and more accurate".
  59. ^ Hinton, Geoffrey E. (2007-10-01). "Learning multiple layers of representation". Trends in Cognitive Sciences. 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042.
  60. ^ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.
  61. ^ نطقب:Cite arXiv
  62. ^ G. E. Hinton., "Learning multiple layers of representation," Trends in Cognitive Sciences, 11, pp. 428–434, 2007.
  63. ^ Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T.; Kingsbury, B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition --- The shared views of four research groups". IEEE Signal Processing Magazine. 29 (6): 82–97. doi:10.1109/msp.2012.2205597.
  64. ^ Deng, Li; Hinton, Geoffrey; Kingsbury, Brian (1 May 2013). "New types of deep neural network learning for speech recognition and related applications: An overview". Microsoft Research – via research.microsoft.com.
  65. ^ Deng, L.; Li, J.; Huang, J. T.; Yao, K.; Yu, D.; Seide, F.; Seltzer, M.; Zweig, G.; He, X. (May 2013). "Recent advances in deep learning for speech research at Microsoft". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8604–8608. doi:10.1109/icassp.2013.6639345. ISBN .
  66. ^ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF).
  67. ^ نطقب:Cite arxiv
  68. ^ Zen, Heiga; Sak, Hasim (2015). "Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis" (PDF). Google.com. ICASSP. pp. 4470–4474.
  69. ^ Deng, L.; Abdel-Hamid, O.; Yu, D. (2013). "A deep convolutional neural network using heterogeneous pooling for trading acoustic invariance with phonetic confusion" (PDF). Google.com. ICASSP.
  70. ^ Sainath, T. N.; Mohamed, A. r; Kingsbury, B.; Ramabhadran, B. (May 2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN .
  71. ^ Yann LeCun (2016). Slides on Deep Learning Online
  72. ^ NIPS Workshop: Deep Learning for Speech Recognition and Related Applications, Whistler, BC, Canada, Dec. 2009 (Organizers: Li Deng, Geoff Hinton, D. Yu).
  73. ^ Keynote talk: Recent Developments in Deep Neural Networks. ICASSP, 2013 (by Geoff Hinton).
  74. ^ D. Yu, L. Deng, G. Li, and F. Seide (2011). "Discriminative pretraining of deep neural networks," U.S. Patent Filing.
  75. ^ Deng, L.; Hinton, G.; Kingsbury, B. (2013). "New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)" (PDF).
  76. ^ Yu, D.; Deng, L. (2014). . ISBN .
  77. ^ "Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research". Microsoft Research. ثلاثة December 2015.
  78. ^ Li, Deng (September 2014). ". Interspeech.
  79. ^ Yu, D.; Deng, L. (2010). "Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition". NIPS Workshop on Deep Learning and Unsupervised Feature Learning.
  80. ^ Seide, F.; Li, G.; Yu, D. (2011). "Conversational speech transcription using context-dependent deep neural networks". Interspeech.
  81. ^ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (2013-05-01). "Recent Advances in Deep Learning for Speech Research at Microsoft". Microsoft Research.
  82. ^ "Nvidia CEO bets big on deep learning and VR". Venture Beat. April 5, 2016.
  83. ^ "From not working to neural networking". The Economist.
  84. ^ Oh, K.-S.; Jung, K. (2004). "GPU implementation of neural networks". Pattern Recognition. 37 (6): 1311–1314. doi:10.1016/j.patcog.2004.01.013.
  85. ^ "A Survey of Techniques for Optimizing Deep Learning on GPUs", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019
  86. ^ Chellapilla, K., Puri, S., and Simard, P. (2006). High performance convolutional neural networks for document processing. International Workshop on Frontiers in Handwriting Recognition.
  87. ^ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (2010-09-21). "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131.
  88. ^ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "Large-scale Deep Unsupervised Learning Using Graphics Processors". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: ACM: 873–880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN .
  89. ^ نطقب:Cite arXiv
  90. ^ "Announcement of the winners of the Merck Molecular Activity Challenge".
  91. ^ "Multi-task Neural Networks for QSAR Predictions | Data Science Association". www.datascienceassn.org. Retrieved 2017-06-14.
  92. ^ "Toxicology in the 21st century Data Challenge"
  93. ^ "NCATS Announces Tox21 Data Challenge Winners".
  94. ^ "Archived copy". Archived from the original on 2015-02-28. Retrieved 2015-03-05.CS1 maint: archived copy as title (link)
  95. ^ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L. M.; Schmidhuber, J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (PDF). International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210.
  96. ^ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Juergen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (eds.). (PDF). Curran Associates, Inc. pp. 2843–2851.
  97. ^ خطأ استشهاد: وسم <ref> غير سليم؛ لا نص تم توفيره للمراجع المسماة : 9
  98. ^ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). "Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks". Proceedings MICCAI. Lecture Notes in Computer Science. 7908: 411–418. doi:10.1007/978-3-642-40763-5_51. ISBN .
  99. ^ "The Wolfram Language Image Identification Project". www.imageidentify.com. Retrieved 2017-03-22.
  100. ^ نطقب:Cite arxiv.
  101. ^ نطقب:Cite arxiv.
  102. ^ نطقب:Cite arxiv.
  103. ^ Zhong, Sheng-hua; Liu, Yan; Liu, Yang (2011). "Bilinear Deep Learning for Image Classification". Proceedings of the 19th ACM International Conference on Multimedia. MM '11. New York, NY, USA: ACM: 343–352. doi:10.1145/2072298.2072344. ISBN .
  104. ^ "Why Deep Learning Is Suddenly Changing Your Life". Fortune. 2016. Retrieved 13 April 2018.
  105. ^ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042.
  106. ^ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). "Deep neural networks for object detection". Advances in Neural Information Processing Systems: 2553–2561.
  107. ^ Hof, Robert D. "Is Artificial Intelligence Finally Coming into Its Own?". MIT Technology Review. Retrieved 2018-07-10.
  108. ^ Gers, Felix A.; Schmidhuber, Jürgen (2001). "LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages". IEEE Trans. Neural Netw. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962.
  109. ^ Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF). Proc. NIPS.
  110. ^ نطقب:Cite arxiv
  111. ^ نطقب:Cite arxiv
  112. ^ Mikolov, T.; et al. (2010). "Recurrent neural network based language model" (PDF). Interspeech.
  113. ^ "Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)". ResearchGate. Retrieved 2017-06-13.
  114. ^ LeCun, Y.; et al. (1998). "Gradient-based learning applied to document recognition". Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791.
  115. ^ Bengio, Y.; Boulanger-Lewandowski, N.; Pascanu, R. (May 2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8624–8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN .
  116. ^ Dahl, G.; et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF). ICASSP.
  117. ^ "Data Augmentation - deeplearning.ai | Coursera". Coursera. Retrieved 2017-11-30.
  118. ^ Hinton, G. E. (2010). "A Practical Guide to Training Restricted Boltzmann Machines". Tech. Rep. UTML TR 2010-003.
  119. ^ You, Yang; Buluç, Aydın; Demmel, James (November 2017). "Scaling deep learning on GPU and knights landing clusters". . SC '17, ACM. pp. 1–12. doi:10.1145/3126908.3126912. ISBN . Retrieved 5 March 2018.
  120. ^ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (March 2017). "CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi". The Journal of Supercomputing. 75: 197–227. arXiv:1702.07908. doi:10.1007/s11227-017-1994-x.
  121. ^ Ting Qin, et al. "A learning algorithm of CMAC based on RLS." Neural Processing Letters 19.1 (2004): 49-61.
  122. ^ Ting Qin, et al. "Continuous CMAC-QRLS and its systolic array." Neural Processing Letters 22.1 (2005): 1-16.
  123. ^ TIMIT Acoustic-Phonetic Continuous Speech Corpus Linguistic Data Consortium, Philadelphia.
  124. ^ Robinson, Tony (30 September 1991). "Several Improvements to a Recurrent Error Propagation Network Phone Recognition System". Cambridge University Engineering Department Technical Report. CUED/F-INFENG/TR82. doi:10.13140/RG.2.2.15418.90567.
  125. ^ Abdel-Hamid, O.; et al. (2014). "Convolutional Neural Networks for Speech Recognition". IEEE/ACM Transactions on Audio, Speech, and Language Processing. 22 (10): 1533–1545. doi:10.1109/taslp.2014.2339736.
  126. ^ Deng, L.; Platt, J. (2014). "Ensemble Deep Learning for Speech Recognition" (PDF). Proc. Interspeech.
  127. ^ Tóth, Laszló (2015). "Phone Recognition with Hierarchical Convolutional Deep Maxout Networks" (PDF). EURASIP Journal on Audio, Speech, and Music Processing. 2015. doi:10.1186/s13636-015-0068-3.
  128. ^ "How Skype Used AI to Build Its Amazing New Language Translator | WIRED". Wired. 2014-12-17. Retrieved 2017-06-14.
  129. ^ نطقب:Cite arxiv
  130. ^ "Plenary presentation at ICASSP-2016" (PDF).
  131. ^ "MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges". yann.lecun.com.
  132. ^ Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (August 2012). "Multi-column deep neural network for traffic sign classification". Neural Networks. Selected Papers from IJCNN 2011. 32: 333–338. CiteSeerX 10.1.1.226.8219. doi:10.1016/j.neunet.2012.02.023. PMID 22386783.
  133. ^ Nvidia Demos a Car Computer Trained with "Deep Learning" (2015-01-06), David Talbot, MIT Technology Review
  134. ^ G. W. Smith; Frederic Fol Leymarie (10 April 2017). "The Machine as Artist: An Introduction". Arts. 6 (4): 5. doi:10.3390/arts6020005.
  135. ^ Blaise Agüera y Arcas (29 September 2017). "Art in the Age of Machine Intelligence". Arts. 6 (4): 18. doi:10.3390/arts6040018.
  136. ^ Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (March 2003). "A Neural Probabilistic Language Model". J. Mach. Learn. Res. 3: 1137–1155. ISSN 1532-4435.
  137. ^ نطقب:Cite arXiv
  138. ^ Socher, Richard; Manning, Christopher. "Deep Learning for NLP" (PDF). Retrieved 26 October 2014.
  139. ^ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). "Parsing With Compositional Vector Grammars" (PDF). Proceedings of the ACL 2013 Conference.
  140. ^ Socher, Richard (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank" (PDF).
  141. ^ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014-11-01). "A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval". Microsoft Research.
  142. ^ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013-10-01). "Learning Deep Structured Semantic Models for Web Search using Clickthrough Data". Microsoft Research.
  143. ^ Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing. 23 (3): 530–539. doi:10.1109/taslp.2014.2383614.
  144. ^ Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014-06-01). "Learning Continuous Phrase Representations for Translation Modeling". Microsoft Research.
  145. ^ Brocardo, Marcelo Luiz; Traore, Issa; Woungang, Isaac; Obaidat, Mohammad S. (2017). "Authorship verification using deep belief network systems". International Journal of Communication Systems. 30 (12): e3259. doi:10.1002/dac.3259.
  146. ^ "Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research". Microsoft Research. Retrieved 2017-06-14.
  147. ^ Turovsky, Barak (November 15, 2016). "Found in translation: More accurate, fluent sentences in Google Translate". The Keyword Google Blog. Retrieved March 23, 2017.
  148. ^ Schuster, Mike; Johnson, Melvin; Thorat, Nikhil (November 22, 2016). "Zero-Shot Translation with Google's Multilingual Neural Machine Translation System". Google Research Blog. Retrieved March 23, 2017.
  149. ^ Sepp Hochreiter; Jürgen Schmidhuber (1997). "Long short-term memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276.
  150. ^ Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM". Neural Computation. 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709. doi:10.1162/089976600300015015.
  151. ^ نطقب:Cite arXiv
  152. ^ "An Infusion of AI Makes Google Translate More Powerful Than Ever." Cade Metz, WIRED, Date of Publication: 09.27.16. https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/
  153. ^ Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). "MT on and for the Web" (PDF). Retrieved December 1, 2016.
  154. ^ Arrowsmith, J; Miller, P (2013). "Trial watch: Phase II and phase III attrition rates 2011-2012". Nature Reviews Drug Discovery. 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212.
  155. ^ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W.; Hochreiter, S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project". Drug Discovery Today. 20 (5): 505–513. doi:10.1016/j.drudis.2014.12.014. PMID 25582842.
  156. ^ نطقب:Cite arXiv
  157. ^ "Toronto startup has a faster way to discover effective medicines". The Globe and Mail. Retrieved 2015-11-09.
  158. ^ "Startup Harnesses Supercomputers to Seek Cures". KQED Future of You. Retrieved 2015-11-09.
  159. ^ "Toronto startup has a faster way to discover effective medicines".
  160. ^ Zhavoronkov, Alex (2019). "Deep learning enables rapid identification of potent DDR1 kinase inhibitors". Nature Biotechnology. doi:10.1038/s41587-019-0224-x.
  161. ^ Gregory, Barber. "A Molecule Designed By AI Exhibits 'Druglike' Qualities". Wired.
  162. ^ نطقب:Cite arxiv
  163. ^ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, C. J. C.; Bottou, L.; Welling, M.; Ghahramani, Z.; Weinberger, K. Q. (eds.). (PDF). Curran Associates, Inc. pp. 2643–2651.
  164. ^ X.Y. Feng, H. Zhang, Y.J. Ren, P.H. Shang, Y. Zhu, Y.C. Liang, R.C. Guan, D. Xu, (2019), "The Deep Learning–Based Recommender System “Pubmender” for Choosing a Biomedical Publication Venue: Development and Validation Study", Journal of medical Internet research, 21 (5): e12957
  165. ^ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015-05-01). "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems". Microsoft Research.
  166. ^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 January 2014). Deep Autoencoder Neural Networks for Gene Ontology Annotation Predictions. Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. ACM. pp. 533–540. doi:10.1145/2649387.2649442. hdl:11311/964622. ISBN .
  167. ^ Sathyanarayana, Aarti (2016-01-01). "Sleep Quality Prediction From Wearable Data Using Deep Learning". JMIR mHealth and uHealth. 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102. PMID 27815231.
  168. ^ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016-08-13). "Using recurrent neural network models for early detection of heart failure onset". Journal of the American Medical Informatics Association. 24 (2): 361–370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897.
  169. ^ healthcare-challenges-and-opportunities-d2eee7e2545 "Deep Learning in Healthcare: Challenges and Opportunities" Check |url= value (help). Medium. 2016-08-12. Retrieved 2018-04-10.
  170. ^ Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen A.W.M.; van Ginneken, Bram; Sánchez, Clara I. (December 2017). "A survey on deep learning in medical image analysis". Medical Image Analysis. 42: 60–88. arXiv:1702.05747. doi:10.1016/j.media.2017.07.005. PMID 28778026.
  171. ^ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (October 2017). "Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy". 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). Venice: IEEE: 82–89. doi:10.1109/ICCVW.2017.18. ISBN .
  172. ^ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2nd IEEE Conference on Communication Systems, Computing and IT Applications: 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN .
  173. ^ "Colorizing and Restoring Old Images with Deep Learning". FloydHub Blog (in الإنجليزية). 2018-11-13. Retrieved 2019-10-11.
  174. ^ "Shrinkage Fields for Effective Image Restoration" in Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on.. 
  175. ^ Czech, Tomasz. "Deep learning: the next frontier for money laundering detection". Global Banking and Finance Review.
  176. ^ "Army researchers develop new algorithms to train robots". EurekAlert!. Retrieved 2018-08-29.
  177. ^ Utgoff, P. E.; Stracuzzi, D. J. (2002). "Many-layered learning". Neural Computation. 14 (10): 2497–2529. doi:10.1162/08997660260293319. PMID 12396572.
  178. ^ Elman, Jeffrey L. (1998). . MIT Press. ISBN .
  179. ^ Shrager, J.; Johnson, MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks. 9 (7): 1119–1129. doi:10.1016/0893-6080(96)00033-0. PMID 12662587.
  180. ^ Quartz, SR; Sejnowski, TJ (1997). "The neural basis of cognitive development: A constructivist manifesto". Behavioral and Brain Sciences. 20 (4): 537–556. CiteSeerX 10.1.1.41.7854. doi:10.1017/s0140525x97001581.
  181. ^ S. Blakeslee., "In brain's early growth, timetable may be critical," The New York Times, Science Section, pp. B5–B6, 1995.
  182. ^ Mazzoni, P.; Andersen, R. A.; Jordan, M. I. (1991-05-15). "A more biologically plausible learning rule for neural networks". Proceedings of the National Academy of Sciences. 88 (10): 4433–4437. Bibcode:1991PNAS...88.4433M. doi:10.1073/pnas.88.10.4433. ISSN 0027-8424. PMC 51674. PMID 1903542.
  183. ^ O'Reilly, Randall C. (1996-07-01). "Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm". Neural Computation. 8 (5): 895–938. doi:10.1162/neco.1996.8.5.895. ISSN 0899-7667.
  184. ^ Testolin, Alberto; Zorzi, Marco (2016). "Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions". Frontiers in Computational Neuroscience. 10: 73. doi:10.3389/fncom.2016.00073. ISSN 1662-5188. PMC 4943066. PMID 27468262.
  185. ^ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (September 2017). "Letter perception emerges from unsupervised deep learning and recycling of natural image features". Nature Human Behaviour. 1 (9): 657–664. doi:10.1038/s41562-017-0186-2. ISSN 2397-3374. PMID 31024135.
  186. ^ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (2011-11-03). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons". PLOS Computational Biology. 7 (11): e1002211. Bibcode:2011PLSCB...7E2211B. doi:10.1371/journal.pcbi.1002211. ISSN 1553-7358. PMC 3207943. PMID 22096452.
  187. ^ Morel, Danielle; Singh, Chandan; Levy, William B. (2018-01-25). "Linearization of excitatory synaptic integration at no extra cost". Journal of Computational Neuroscience. 44 (2): 173–188. doi:10.1007/s10827-017-0673-5. ISSN 0929-5313. PMID 29372434.
  188. ^ Cash, S.; Yuste, R. (February 1999). "Linear summation of excitatory inputs by CA1 pyramidal neurons". Neuron. 22 (2): 383–394. doi:10.1016/s0896-6273(00)81098-3. ISSN 0896-6273. PMID 10069343.
  189. ^ Olshausen, B; Field, D (2004-08-01). "Sparse coding of sensory inputs". Current Opinion in Neurobiology. 14 (4): 481–487. doi:10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069.
  190. ^ Yamins, Daniel L K; DiCarlo, James J (March 2016). "Using goal-driven deep learning models to understand sensory cortex". Nature Neuroscience. 19 (3): 356–365. doi:10.1038/nn.4244. ISSN 1546-1726. PMID 26906502.
  191. ^ Zorzi, Marco; Testolin, Alberto (2018-02-19). "An emergentist perspective on the origin of number sense". Phil. Trans. R. Soc. B. 373 (1740): 20170043. doi:10.1098/rstb.2017.0043. ISSN 0962-8436. PMC 5784047. PMID 29292348.
  192. ^ Güçlü, Umut; van Gerven, Marcel A. J. (2015-07-08). "Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream". Journal of Neuroscience. 35 (27): 10005–10014. arXiv:1411.6422. doi:10.1523/jneurosci.5023-14.2015. PMC 6605414 Check |pmc= value (help). PMID 26157000.
  193. ^ Metz, C. (12 December 2013). "Facebook's 'Deep Learning' Guru Reveals the Future of AI". Wired.
  194. ^ "Google AI algorithm masters ancient game of Go". Nature News & Comment. Retrieved 2016-01-30.
  195. ^ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, John; Kalchbrenner, Nal; Sutskever, Ilya; Lillicrap, Timothy; Leach, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 0028-0836. PMID 26819042. نطقب:Closed access
  196. ^ "A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go | MIT Technology Review". MIT Technology Review. Retrieved 2016-01-30.
  197. ^ "Blippar Demonstrates New Real-Time Augmented Reality App". TechCrunch.
  198. ^ A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up
  199. ^ "TAMER: Training an Agent Manually via Evaluative Reinforcement - IEEE Conference Publication". ieeexplore.ieee.org. Retrieved 2018-08-29.
  200. ^ "Talk to the Algorithms: AI Becomes a Faster Learner". governmentciomedia.com. Retrieved 2018-08-29.
  201. ^ Marcus, Gary (2018-01-14). "In defense of skepticism about deep learning". Gary Marcus. Retrieved 2018-10-11.
  202. ^ Knight, Will (2017-03-14). "DARPA is funding projects that will try to open up AI's black boxes". MIT Technology Review. Retrieved 2017-11-02.
  203. ^ Marcus, Gary (November 25, 2012). "Is "Deep Learning" a Revolution in Artificial Intelligence?". The New Yorker. Retrieved 2017-06-14.
  204. ^ Smith, G. W. (March 27, 2015). "Art and Artificial Intelligence". ArtEnt. Archived from the original on June 25, 2017. Retrieved March 27, 2015.CS1 maint: BOT: original-url status unknown (link)
  205. ^ Mellars, Paul (February 1, 2005). "The Impossible Coincidence: A Single-Species Model for the Origins of Modern Human Behavior in Europe" (PDF). Evolutionary Anthropology: Issues, News, and Reviews. Retrieved April 5, 2017.
  206. ^ Alexander Mordvintsev; Christopher Olah; Mike Tyka (June 17, 2015). "Inceptionism: Going Deeper into Neural Networks". Google Research Blog. Retrieved June 20, 2015.
  207. ^ Alex Hern (June 18, 2015). "Yes, androids do dream of electric sheep". The Guardian. Retrieved June 20, 2015.
  208. ^ Goertzel, Ben (2015). "Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms?" (PDF).
  209. ^ نطقب:Cite arxiv
  210. ^ نطقب:Cite arxiv
  211. ^ Zhu, S.C.; Mumford, D. (2006). "A stochastic grammar of images". Found. Trends Comput. Graph. Vis. 2 (4): 259–362. CiteSeerX 10.1.1.681.2190. doi:10.1561/0600000018.
  212. ^ Miller, G. A., and N. Chomsky. "Pattern conception." Paper for Conference on pattern detection, University of Michigan. 1957.
  213. ^ Eisner, Jason. "Deep Learning of Recursive Structure: Grammar Induction".
  214. ^ "Hackers Have Already Started to Weaponize Artificial Intelligence". Gizmodo. Retrieved 2019-10-11.
  215. ^ "How hackers can force AI to make dumb mistakes". The Daily Dot (in الإنجليزية). 2018-06-18. Retrieved 2019-10-11.
  216. ^ "AI Is Easy to Fool—Why That Needs to Change". Singularity Hub. 2017-10-10. Retrieved 2017-10-11.
  217. ^ Gibney, Elizabeth (2017). "The scientist who spots fake videos". Nature. doi:10.1038/nature.2017.22784.

قراءات أخرى

  • Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). . MIT Press. ISBN , introductory textbook.
تاريخ النشر: 2020-06-07 09:46:15
التصنيفات: صفحات بأخطاء في المراجع, CS1 الإنجليزية-language sources (en), CS1 errors: missing periodical, CS1 maint: archived copy as title, CS1: long volume value, Pages with URL errors, CS1 errors: PMC, CS1 maint: BOT: original-url status unknown, Articles with short description, All articles with unsourced statements, Articles with unsourced statements from April 2018, Articles with invalid date parameter in template, Wikipedia articles that are too technical from July 2016, مقالات تستعمل قوالب صيانة غير مؤرخة, Articles needing expert attention from July 2016, Articles with unsourced statements from July 2016, Articles prone to spam from June 2015, Deep learning, Artificial neural networks, Artificial intelligence, تكنولوجيات بازغة
شارك غرًد
علم القانون
علم الطَبِيعيات (الفيزياء)
هندسة السيارات
هندسة المياه
علم المواد
الرياضيات والفلك
تقانة المعلومات
علوم اللغة والأدب
الفن، التسلية والرياضة
الفلسفة وعلم النفس
الإعلام والتواصل
تقانات الأغذية
الطباعة والكهرباء
الجغرافيا والتاريخ
علوم البحار
علم الزلازل
هندسة النفط
علم الأحياء
الصحة وجسم الإنسان
علم الوراثة
علم الصيدلة
الحرب الإلكترونية
الاستشعار عن بعد
الطب البيطري
التشريح العياني
البناء والنجارة
علم الأرصاد الجوية
علم الأرض
علم الكيمياء
الطاقات المتجددة
الهندسة الكهربائية
النقل والبنية التحتية
صناعة النسيج
الهندسة المدنية
المناخ والبيئة وإدارة النفايات الصلبة
التقنيات التربوية والحاسوبية
علوم التربية
علم الاجتماع والإنسان
علم الاقتصاد
التجارة والمحاسبة
علم القانون
علم الطَبِيعيات (الفيزياء)
هندسة السيارات
هندسة المياه
علم المواد
الرياضيات والفلك
تقانة المعلومات
علوم اللغة والأدب
الفن، التسلية والرياضة
الفلسفة وعلم النفس
الإعلام والتواصل
تقانات الأغذية
الطباعة والكهرباء
الجغرافيا والتاريخ
علوم البحار
علم الزلازل
هندسة النفط
علم الأحياء
الصحة وجسم الإنسان
علم الوراثة
علم الصيدلة
الحرب الإلكترونية
الاستشعار عن بعد
الطب البيطري
التشريح العياني
البناء والنجارة
علم الأرصاد الجوية
علم الأرض
علم الكيمياء
الطاقات المتجددة
الهندسة الكهربائية
النقل والبنية التحتية
صناعة النسيج
الهندسة المدنية
المناخ والبيئة وإدارة النفايات الصلبة
التقنيات التربوية والحاسوبية
علوم التربية
علم الاجتماع والإنسان
علم الاقتصاد
التجارة والمحاسبة
علم القانون
علم الطَبِيعيات (الفيزياء)
هندسة السيارات
هندسة المياه
علم المواد
الرياضيات والفلك

مقالات أخرى من الموسوعة

برفيرية جلدية آجلة
برفيرية جلدية آجلة
ميثاء بنت محمد بن راشد آل مكتوم
ميثاء بنت محمد بن راشد آل مكتوم
ريباڤيرين
ريباڤيرين
لاندولف شرتسر
لاندولف شرتسر
غدامس
غدامس
أربايون
أربايون
الأراضي البلغارية عبر الدانوب
الأراضي البلغارية عبر الدانوب
حادثة كسر الضلع
حادثة كسر الضلع
جيمس ريتشاردسون (مستكشف)
جيمس ريتشاردسون (مستكشف)
التهاب الكبد الڤيروسي سي
التهاب الكبد الڤيروسي سي
أربايون
أربايون
كتبة الوحي
كتبة الوحي
أسد نوبي
أسد نوبي
مفاصلة
مفاصلة
لنكن‌شاير
لنكن‌شاير

سحابة الكلمات المفتاحية، مما يبحث عنه الزوار في كشاف:

بلد
بلبيس
بلال فضل
بجيله
بلاك تيما
بلاد الروس
بل
بكيت اريبا بالطين الذره
بكاسيني
بغي نعرف وش مدكلري
بغداد
بطاقة توجه
بعص
بستالونزي
بسام عبد السميع
بزيت
بروبين
بروبايل
برهان الخطيب
برناوي
برنامج كشتات
برنامج فيس
برنامج الصدمة في العراق
برمجيات النظام (System Software
برطمان الحب
برج اليجانس
الاجازات الرسمية في مصر 2021
برج الوصيل 2
منح روسيا 2020
مطعم ماكرون
مجتبى فاضلي
مثير اجنبي
متىجم جوجل
مترجم جوجل
مارض كرونا
Couto,Graca
CJA F3*AJ/ EF 1*(J 4G1J 8E
CHV
C3H6
Asrar korona
AJDE (H*AHF/
AJ/
?????????? ?????? ???????
??????????
????????? ??? ???? ???
Haweza
*4CJD)
الهوية
???????? ???????? ????????
???????? ???? ?

آخر الأخبار حول العالم

إطلالات جريئة على «السجادة الحمراء».. انطلاق فعاليات مهرجان البندقية السينمائى (صور)

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:37
مستوى الصحة: 53% الأهمية: 60%

مانشستر سيتي يصعق نوتنجهام بستة أهداف

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:55
مستوى الصحة: 47% الأهمية: 62%

التموين: 8 ملايين بطاقة تموينية تستفيد من زيادة الدعم الاستثنائي 6 أشهر

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:10
مستوى الصحة: 36% الأهمية: 49%

أرسنال 5 فوز من أول 5 مباريات لأول مرة فى تاريخ الدورى الإنجليزى

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:12
مستوى الصحة: 40% الأهمية: 50%

الفرعون يصنع .. ليفربول يضرب نيوكاسل بثنائية

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:53
مستوى الصحة: 58% الأهمية: 61%

ليفربول يقتنص فوزا قاتلا من أنياب نيوكاسل 2-1 فى الدورى الإنجليزى

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:09
مستوى الصحة: 43% الأهمية: 43%

مصادر: إعلان نتيجة التحويلات بين الكليات والمعاهد خلال 48 ساعة

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:31
مستوى الصحة: 57% الأهمية: 54%

برلمانى: الدعم الاستثنائى يعكس حرص القيادة السياسية على حماية محدودى الدخل

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:39
مستوى الصحة: 56% الأهمية: 51%

وفاة أم المساكين يشعل السوشيال ميديا بكفرالشيخ

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:52
مستوى الصحة: 54% الأهمية: 62%

بورنموث يتعادل سلبيا مع ولفرهامبتون بالجولة الـ5

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:53
مستوى الصحة: 60% الأهمية: 66%

خلال أيام.. «عليا الوفد» تجتمع لمناقشة الجدول الزمنى للانتخابات

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:39
مستوى الصحة: 53% الأهمية: 64%

محمد منير وأصالة وأحمد سعد يتنافسون على الأكثر استماعًا لهذا الشهر على أنغامى

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:32
مستوى الصحة: 60% الأهمية: 52%

محافظ السويس يناقش خطة المحافظة في المبادرة الوطنية للمشروعات الخضراء الذكية

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:51
مستوى الصحة: 57% الأهمية: 69%

مجلس جامعة الأزهر يبحث استعداد الكليات لاستقبال العام الدراسى الجديد

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:49
مستوى الصحة: 46% الأهمية: 60%

كاهن بالمنيا يخاطب “التعليم”: بالأدلة تم استبدال أوراق ابنه بالثانوية العامة

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:54
مستوى الصحة: 60% الأهمية: 69%

وزير الرياضة يشهد حفل إفتتاح تصفيات بطولة العالم للبادل ٢٠٢٢

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:56
مستوى الصحة: 56% الأهمية: 66%

طبيب المنتخب الوطنى يطالب أرسنال بالتقرير الطبي لتشخيص إصابة النني

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:15
مستوى الصحة: 45% الأهمية: 37%

«البحوث الإسلامية» يُصدر عدد صَفَر من مجلة الأزهر

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:49
مستوى الصحة: 59% الأهمية: 51%

التعليم: انتهاء طباعة كتب الفصل الدراسى الأول استعدادا للعام الجديد

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:13
مستوى الصحة: 40% الأهمية: 43%

عمر خيرت يتصدر قائمة الترندات بالتوازى مع عرض حفله بمحكى القلعة على قناة الحياة.. صور

المصدر: اليوم السابع - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:22:08
مستوى الصحة: 34% الأهمية: 37%

الطريقة التجانية تنظم مجلسًا علميًا بحضور علماء ومريدين أجانب

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:48
مستوى الصحة: 56% الأهمية: 61%

«بين الفن والطبيعة».. كتاب جديد من ترجمة الحسين خضيري

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:44
مستوى الصحة: 55% الأهمية: 69%

«على خطى الدول المتقدمة».. خبراء: محدود الدخل على رأس أولويات القيادة السياسية

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:30
مستوى الصحة: 57% الأهمية: 51%

ارسنال يحقق الفوز الخامس على التوالي ويتصدر بالعلامة الكاملة

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:55
مستوى الصحة: 55% الأهمية: 60%

يوم الوفاء بـ”الشباب والرياضة” بالقليوبية لتكريم وكلاء الوزارة ومديري المديرية السابقين

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:52
مستوى الصحة: 51% الأهمية: 60%

ارتفاع مؤشر الدولار بنسبة 0.59% خلال تداولات الأسبوع

المصدر: موقع الدستور - مصر التصنيف: سياسة
تاريخ الخبر: 2022-09-01 00:21:41
مستوى الصحة: 53% الأهمية: 61%

وست هام × توتنهام انتهت بنتيجة 1-1

المصدر: وطنى - مصر التصنيف: غير مصنف
تاريخ الخبر: 2022-09-01 00:21:54
مستوى الصحة: 45% الأهمية: 65%

تحميل تطبيق المنصة العربية