Spatiotemporal پیشن گوئی کے لئے دوہری توجہ نیورل نیٹ ورک کے ساتھ دوہری میموری LSTM

رابطہ:joanna.jia@wecistanche.com/ واٹس ایپ: 008618081934791

خلاصہ

اسپیٹیوٹیمپورل پیشن گوئی کو نکالنے کی نمائندگی کے غیر موثر ہونے اور بھرپور سیاق و سباق پر انحصار کی کمی کی وجہ سے چیلنجنگ ہے۔ دوہری کا استعمال کرتے ہوئے spatiotemporal پیشن گوئی کے لئے ایک نیا نقطہ نظر تجویز کیا گیا ہے۔یاداشتدوہری توجہ والے نیورل نیٹ ورک (DMANet) کے ساتھ LSTM۔ ایک نیا ڈوئل میموری LSTM (DMLSTM) یونٹ لگاتار تصاویر کے درمیان مختلف کارروائیوں کا فائدہ اٹھاتے ہوئے اور دوہری کو اپنا کر نمائندگی کو نکالنے کی تجویز ہے۔یاداشتمنتقلی کا طریقہ کار تاریخی نمائندگیوں کا مکمل استعمال کرنے کے لیے، ایک دوہری توجہ کا طریقہ کار وضع کیا گیا ہے جو بالترتیب وقتی اور مقامی جہتوں سے موجودہ پوشیدہ نمائندگیوں اور تاریخی پوشیدہ نمائندگیوں کے درمیان ارتباط کا حساب لگا کر طویل مدتی spatiotemporal انحصار کو پکڑنے کے لیے بنایا گیا ہے۔ پھر، ایک DMANet کی تعمیر کے لیے دوہری توجہ کو DMLSTM یونٹ میں سرایت کر دیا جاتا ہے، جو ماڈل کو قلیل مدتی حرکیات اور طویل مدتی سیاق و سباق کی نمائندگی کے لیے زیادہ ماڈلنگ پاور کے ساتھ قابل بناتا ہے۔ اس مقالے میں ایک ظاہری مزاحمتی نقشہ (AR Map) ڈیٹاسیٹ تجویز کیا گیا ہے۔ B-spline انٹرپولیشن کا طریقہ AR Map ڈیٹاسیٹ کو بڑھانے کے لیے استعمال کیا جاتا ہے اور وقت کے طول و عرض میں ظاہری مزاحمتی رجحان کے منحنی خطوط کو مسلسل اخذ کرتا ہے۔ تجرباتی نتائج یہ ظاہر کرتے ہیں کہ ترقی یافتہ طریقہ کچھ جدید ترین طریقوں سے موازنہ کرکے پیشین گوئی کی بہترین کارکردگی رکھتا ہے۔

مطلوبہ الفاظ: spatiotemporal prediction; دوہرییاداشتLSTM; دوہری توجہ؛ تاریخی نمائندگی

1. تعارف

Spatiotemporal prediction بغیر لیبل والے ویڈیو ڈیٹا سے غیر نگرانی کے انداز میں نمائندگی کو سیکھنا اور پیشین گوئی کے کام کو انجام دینے کے لیے ان کا استعمال کرنا ہے، جو کہ کمپیوٹر ویژن کا ایک عام کام ہے۔ فی الحال، spatiotemporal پیشن گوئی کا اطلاق کچھ کاموں پر کامیابی کے ساتھ کیا گیا ہے، جیسے کہ آبجیکٹ کے مقامات کی مستقبل کی پیش گوئی [1,2]، بے ضابطگی کا پتہ لگانا [3]، اور خود مختار ڈرائیونگ [4]۔ گہری سیکھنے پر مبنی ماڈل روایتی طریقوں پر چھلانگ لگاتے ہیں کیونکہ انہوں نے اعلی جہتی ڈیٹا سے مناسب نمائندگی سیکھی ہے۔ گہرے سیکھنے کے طریقے spatiotemporal prediction ٹاسک میں بالکل فٹ بیٹھتے ہیں، جو ویڈیو ڈیٹا سے spatiotemporal correlations کو خود زیر نگرانی انداز میں نکال سکتے ہیں۔ تاہم، غیر موثر طریقے سے نمائندگی نکالنے کے مسئلے اور طویل مدتی انحصار کی کمی کی وجہ سے spatiotemporal پیشن گوئی اب بھی ایک مشکل کام ہے۔ مثال کے طور پر، Convolutional LSTM (ConvLSTM) [5] کو دنیاوی نمائندگیوں کو مزید نکالنے کے لیے تیار کیا گیا ہے لیکن یہ مقامی نمائندگی کو نظر انداز کرتا ہے۔ کچھ طریقوں [6,7] نے درست پیشین گوئی کے نتائج حاصل کیے ہیں، لیکن وہ نمائندگی کے نقصان کا سبب بنتے ہیں۔ پیشن گوئی کے کاموں میں مخالفانہ طریقہ کار کا اطلاق کیا گیا ہے [8,9]۔ تاہم، وہ [8,9] غیر مستحکم تربیتی عمل پر نمایاں طور پر منحصر ہیں۔

1 سکول آف کمیونیکیشن اینڈ انفارمیشن انجینئرنگ، شنگھائی یونیورسٹی، شنگھائی 200444، چین

2 کلیدی لیبارٹری آف ایڈوانسڈ ڈسپلے اور سسٹم ایپلی کیشن، وزارت تعلیم، شنگھائی 200072، چین

دوہری ناولیاداشتمتذکرہ مسائل کو حل کرنے کے لیے اس مقالے میں spatiotemporal prediction کے لیے دوہری توجہ والے نیورل نیٹ ورک (DMANet) کے ساتھ LSTM تجویز کیا گیا ہے۔ ConvLSTM [5] پر مبنی ایک ڈوئل میموری LSTM (DMLSTM) یونٹ DMANet کے لیے تیار کیا گیا ہے تاکہ spatiotemporal prediction انجام دے سکے۔ ملحقہ پوشیدہ حالتوں یا خام امیجز کو مناسب طریقے سے مختلف کر کے حرکت کی نمائندگی حاصل کرنے کے لیے اس کا اطلاق کیا جا سکتا ہے۔ اس کے علاوہ، اس میں مقامی معلومات اور وقتی معلومات کو ذخیرہ کرنے کے لیے دوہری میموری کے ڈھانچے ہیں۔ بالترتیب وقتی اور مقامی جہتوں سے طویل مدتی خصوصیت کے انحصار کو نکالنے کے لیے DMLSTM یونٹ میں ایک دوہری توجہ کا طریقہ کار تجویز اور سرایت کیا گیا ہے، جو ترقی یافتہ ماڈل کو طویل پیچیدہ ویڈیو حرکیات کو حاصل کرنے کے قابل بناتا ہے۔ مندرجہ بالا spatiotemporal پیشن گوئی کے طریقوں کے مقابلے میں، اس مقالے کی اہم شراکتیں درج ذیل ہیں۔ سب سے پہلے، ایک ناول ڈی ایم ایل ایس ٹی ایم یونٹ کو اقتباس کی نمائندگی کرنے کے لیے تجویز کیا گیا ہے، جس کا اطلاق مسلسل تصویروں کے درمیان مختلف کارروائیوں کا فائدہ اٹھا کر اور دوہری کو اپنا کر اسپیٹیوٹیمپورل پیشین گوئی کے لیے کیا جا سکتا ہے۔یاداشتمنتقلی کا طریقہ کار دوم، طویل مدتی فریم تعاملات حاصل کرنے کے لیے دوہری توجہ کا طریقہ کار تیار کیا گیا ہے۔ طویل مدتی فریم تعاملات کو بالترتیب وقتی اور مقامی جہتوں سے موجودہ پوشیدہ نمائندگیوں اور تاریخی پوشیدہ نمائندگیوں کے مابین ارتباط کا حساب لگا کر حاصل کیا جاتا ہے۔ آخر میں، ایک اہم شراکت یہ ہے کہ DMANet دونوں فوائد کو یکجا کرتا ہے۔ اس طرح کے آرکیٹیکچرل ڈیزائن ماڈل کو قلیل مدتی حرکیات اور طویل مدتی سیاق و سباق کی نمائندگی کے لیے زیادہ ماڈلنگ کی طاقت کے ساتھ قابل بناتا ہے۔ مجوزہ طریقہ کا اندازہ مختلف طریقوں کے ساتھ کچھ چیلنجنگ ڈیٹاسیٹس پر کیا جاتا ہے۔ یہ کچھ جدید ترین طریقوں سے موازنہ کرکے بہترین کارکردگی حاصل کرتا ہے۔ تجرباتی نتائج سے پتہ چلتا ہے کہ مجوزہ طریقہ میں بہترین spatiotemporal پیشن گوئی کی کارکردگی ہے۔

cistanche فوائدمیںیاداشت

اس مضمون کا بقیہ حصہ حسب ذیل ترتیب دیا گیا ہے۔ متعلقہ کام پر سیکشن 2 میں بحث کی گئی ہے۔ دوہرییاداشتدوہری توجہ کے طریقہ کار کے ساتھ LSTM کو سیکشن 3 میں بیان کیا گیا ہے۔ تجرباتی نتائج اور تجزیوں پر سیکشن 4 میں بحث کی گئی ہے اور اس کے بعد سیکشن 5 میں نتائج اخذ کیے گئے ہیں۔

2. ادب کا جائزہ

پچھلی دہائی کے دوران، spatiotemporal پیشین گوئی کے لیے بہت سے طریقے تجویز کیے گئے ہیں۔ ریکرنٹ نیورل نیٹ ورک (RNN) [10] طویل مختصر مدت کے ساتھیاداشت(LSTM) [11] ویڈیو ترتیب کی نمائندگی سیکھنے کی صلاحیتوں کی وجہ سے پیشین گوئی کے کاموں پر تیزی سے لاگو ہوتا رہا ہے۔ حالیہ برسوں میں، ترتیب سے ترتیب ماڈل [12] پر مبنی LSTM فریم ورک کو ویڈیو پیشین گوئی کے مطابق ڈھال لیا گیا ہے۔ پھر بھی، پیشین گوئی کی درستگی اس حقیقت کی وجہ سے محدود ہے کہ یہ فریم ورک کے طریقے [12] صرف وقتی تغیرات کو پکڑتے ہیں۔ ویڈیو کی نمائندگی کو مزید نکالنے کے لیے، ConvLSTM [5] مکمل طور پر منسلک آپریشنز کو بار بار ہونے والی حالت کی منتقلی میں کنولوشن آپریشنز سے بدل دیتا ہے۔ ایک گہری سیکھنے پر مبنی فریم ورک [13] تجویز کیا گیا ہے کہ گمشدہ ڈیٹا کی تشکیل نو کی جائے تاکہ spatiotemporal سیریز کے ساتھ تجزیہ کو آسان بنایا جا سکے۔ تاہم، یہ اضافی کمپیوٹیشنل لاگت میں اضافہ کرے گا اور پیشین گوئی کی کارکردگی کو کم کرے گا۔ بائیجیکٹو گیٹڈ ریکرنٹ یونٹ کو [14] میں متعارف کرایا گیا ہے، جو کچھ معاملات میں اگلے فریم کی پیشین گوئی کرنے کے لیے بار بار ہونے والے آٹو انکوڈرز کا استحصال کرتا ہے۔ LSTM [11] کے ساتھ زیر نگرانی سیکھنے کا ایک ملٹی آؤٹ پٹ اور ملٹی انڈیکس [15] طریقہ spatiotemporal prediction کے لیے تجویز کیا گیا ہے، جو طویل مدتی حرکیات کا نمونہ بنا سکتا ہے۔ تدریجی غائب ہونے کے خاتمے کے تعاقب میں، convolutional LSTM کو [6,7] تک بڑھایا گیا ہے جو ایک زگ زیگ میموری فلو اور گریڈیئنٹ ہائی وے یونٹ (GHU) متعارف کراتا ہے۔ پیشن گوئی کی صلاحیت کو بہتر بنانے کے لیے ایک تازہ ترین ڈیپ لرننگ پر مبنی طریقہ استعمال کیا گیا ہے۔ ASAP کا ایک ورژن جسے "ASAP ڈیپ سسٹم" کہا جاتا ہے، [16] میں تجویز کیا گیا ہے۔ آپٹیکل فلو وارپنگ اور آر جی بی پکسل سنتھیسائزنگ الگورتھم [17] کا استعمال spatiotemporal prediction انجام دینے کے لیے کیا گیا ہے۔ [18] میں پیشن گوئی کے کاموں کے لیے میموری ان میموری نیٹ ورک (MIM) تجویز کیا گیا ہے۔ مذکورہ بالا بار بار آنے والے ماڈلز سے اس کا فرق یہ ہے کہ MIM [18] وقت کے مختلف ہونے والے کثیر الثانی کو مستقل میں تبدیل کرنے کے لیے میموری ٹرانزیشن میں فرق پر لاگو ہوتا ہے، جو deterministic جزو کو قابل پیشن گوئی کے قابل بناتا ہے۔ تاہم، یہ طریقے [14–18] طویل المدتی پیشین گوئی کو انجام دینے کے لیے اب بھی مشکل ہیں کیونکہ ضرورت سے زیادہ گیٹ ٹرانزیشن نمائندگی کے نقصان کا سبب بنے گی۔

cistanche deserticola فوائدمیںیاداشت

بار بار آنے والے ماڈلز کے علاوہ، دوسرے ماڈلز بھی spatiotemporal prediction کے لیے استعمال کیے جاتے ہیں۔ ایک ریٹرو اسپیکشن نیٹ ورک [19] میں تجویز کیا گیا ہے، جو مشاہدہ شدہ فریموں کے مطابق ہونے کے لیے ریٹرو اسپیکشن فریموں کو آگے بڑھانے کے لیے ریٹرو اسپیکشن نقصان کو متعارف کراتا ہے۔ ڈیٹا میں عدم توازن کو سنبھالنے کے لیے، ایک پڑوس کی صفائی کا الگورتھم [20] میں تیار کیا گیا ہے۔ ایک بے ترتیب جنگل الگورتھم پیشین گوئی کے کام کو انجام دینے کے لیے بہترین خصوصیات کو نکالتا ہے۔ [21] میں غیر خطی متحرک خصوصیات کو نکالنے کے لئے ایک تغیراتی آٹو اینکوڈر کو اپنایا گیا ہے۔ یہ ماڈل متغیرات اور تاریخی نمونوں اور موجودہ نمونوں کے درمیان تعلق کا تجزیہ کرتا ہے۔ عالمی کلیدی خصوصیات اور مقامی کلیدی خصوصیات کو نکالنے کے لیے ایک وسیع دھیان والا ماڈیول اور گہرے جامع ماڈیول کو [22] میں استعمال کیا گیا ہے۔ تاہم، یہ طریقے [19-22] کسی حد تک مقامی نمائندگی پر منحصر ہیں، جو پیشین گوئی کے کاموں پر بہترین کارکردگی حاصل نہیں کر سکتے۔ ایک مصنوعی نیورل نیٹ ورک [23] کو اسپیٹیو ٹیمپورل ڈیٹا کی منفرد خصوصیات کا نمونہ بنانے کے لیے تجویز کیا گیا ہے اور یہ اسپیٹیو ٹیمپورل ڈیٹا کے لیے زیادہ طاقتور ماڈلنگ کی صلاحیت حاصل کرتا ہے۔ ایک spatiotemporal prediction system [24] مقامی ماڈلنگ پر توجہ مرکوز کرنے اور مکمل Spatio-temporal سگنل کی تشکیل نو کے لیے تیار کیا گیا ہے۔ یہ طریقہ ہم آہنگ اسپیٹیو-ٹیمپورل فیلڈز کی ماڈلنگ کی تاثیر کو ظاہر کرتا ہے۔ مخلوط نیورل نیٹ ورک کو متحرک پیٹرن کو ماڈل بنانے اور [25] میں دیئے گئے ویڈیو فریموں کی بنیاد پر ظاہری شکل کی نمائندگی کرنے کی تجویز دی گئی ہے۔ ایک 3D CNN کو RNN میں [26] میں استعمال کیا جاتا ہے، جو وقتی جہت میں نمائندگی کو بڑھاتا ہے اوریاداشتیونٹ سٹور بہتر طویل مدتی نمائندگی. تاہم، convolutional آپریشنز [24-26] مختصر فاصلے کے انٹرا فریم انحصار کے لیے ان کے محدود قابل قبول شعبوں اور واضح انٹر فریم ماڈلنگ کی صلاحیتوں کی کمی کی وجہ سے ہوتے ہیں۔ پیدا کرنے والے مخالف نیٹ ورکس [8] spatiotemporal پیشین گوئی کے لیے ایک اور نقطہ نظر ہیں۔ ایک مشروط تغیراتی آٹو اینکوڈر طریقہ تجویز کیا گیا ہے [9] میں پچھلے مشاہدات اور مستقبل کے روبوٹ کے اعمال پر مشروط مستقبل کی انسانی رفتار پیدا کر کے۔ پیشین گوئی کے طریقے [8,9] کا مقصد کم دھندلے فریم بنانا ہے، لیکن ان کی کارکردگی نمایاں طور پر غیر مستحکم تربیتی عمل پر منحصر ہے۔

ایک خود توجہ کا طریقہ کار [27] میں تجویز کیا گیا ہے، جس کا اطلاق طویل فاصلے تک انحصار کو حاصل کرنے کے لیے کیا جا سکتا ہے اور یہ کمپیوٹر وژن کے کاموں میں تمام مقامی پوزیشنوں کے درمیان نمایاں خصوصیات کو جمع کرنے میں کارگر ثابت ہوا ہے [28-30]۔ [28] میں ایک دوہری توجہ کا بلاک تجویز کیا گیا ہے، جو پوری جگہ کی خصوصیات کو ایک کمپیکٹ سیٹ میں جوڑتا ہے، اور پھر موافقت کے ساتھ ہر مقام کے لیے خصوصیات کو منتخب اور مختص کرتا ہے۔ سیاق و سباق کی معلومات کو زیادہ مؤثر طریقے سے استعمال کرنے کے لیے، ایک کراس کراس نیٹ ورک [29] نے تمام پکسلز کی متعلقہ معلومات حاصل کرنے کے لیے ایک کراس کراس توجہ ماڈیول متعارف کرایا، جو بصری تفہیم کے مسائل کے لیے مددگار ہے۔ اس کے علاوہ، کثیر پیمانے پر فیچر فیوژن طریقوں کے برعکس، ایک دوہری توجہ کا نیٹ ورک [30] تجویز کیا گیا ہے کہ مقامی خصوصیات کو عالمی انحصار کے ساتھ موافقت کے ساتھ جوڑ دیا جائے۔ تاہم، spatiotemporal انحصار کی کمی کی وجہ سے پیشن گوئی کے کاموں سے نمٹنے کے لیے ان کا استعمال نہیں کیا جا سکتا۔

خلاصہ یہ کہ پیشین گوئی کے ماڈلز مختلف خرابیاں پیدا کرتے ہیں۔ پچھلے کام سے مختلف، ہم ریاستی نمائندگی کو ذخیرہ کرنے اور spatiotemporal prediction کے کام میں توجہ کے طریقہ کار کو بڑھانے کے لیے ConvLSTM [5] کا ایک نیا ورژن ڈیزائن کرتے ہیں۔ یہ فن تعمیر انٹرا کلاس کمپیکٹنس کے ساتھ بہتر خصوصیت کی نمائندگی کے لیے بھرپور سیاق و سباق کو حاصل کرتا ہے۔

جدول 1 تصور کی تعریف کے ساتھ کاغذ میں استعمال ہونے والے مخففات کو دکھاتا ہے۔

3. ڈی ایم اے نیورل نیٹ ورک

DMANet کا ایک فلو چارٹ شکل 1 میں دکھایا گیا ہے۔ ان پٹ فریموں کے پیش نظر DMANet سے نمائندگی نکالی گئی ہے۔ نمائندگی پیشین گوئی کے نتائج کی نشاندہی کرتی ہے اور اگلی نمائندگی کی پیشن گوئی کرنے کے لیے استعمال کی جا سکتی ہے۔

اس حصے میں، DMANet کی تفصیلات دی جائیں گی۔ سب سے پہلے، سیکشن 3.1 میں ایک ناول DMLSTM یونٹ متعارف کرایا گیا ہے۔ اس کے بعد، سیکشن 3.2 میں دوہری توجہ کا طریقہ کار تجویز کیا گیا ہے، جو ماڈل کو اس قابل بناتا ہے کہ وہ پچھلی متعلقہ نمائندگیوں سے فائدہ اٹھا سکے۔ آخر میں، وہ spatiotemporal پیشین گوئی کے لیے DMANet بنانے کے لیے اکٹھے ہوتے ہیں، جس کی تفصیل سیکشن 3.3 میں ہے۔

3.1.دوہری میموری LSTM

یہ PredRNN پلس پلس [7] سے روشن ہے، جو نیٹ ورک کی گہرائی کو بڑھانے اور مقامی ارتباط اور وقتی حرکیات کے لیے ماڈلنگ کی صلاحیت کو مضبوط کرنے کے لیے مزید نان لائنر تہوں کا اضافہ کرتا ہے۔ تاہم، نیٹ ورک کی گہرائی میں اضافے کے ساتھ تدریجی پھیلاؤ کا مسئلہ دن بدن مشکل ہوتا جا رہا ہے، یہاں تک کہ اگر GHU [7] اسے محدود حد تک کم کر دے۔ کچھ کام[6,7,14] ضرورت سے زیادہ گیٹ ٹرانزیشن کے دوران spatiotemporal sequences کی نمائندگی کو نکالنے میں اچھی کارکردگی کا مظاہرہ نہیں کرتا ہے، کیونکہ یہ ناگزیر طور پر نمائندگی کے نقصان کا سبب بن سکتا ہے۔ لہذا، طویل فاصلے کے مقامی انحصار کو اسٹیک شدہ کنوولوشن پرتوں کے ذریعہ پکڑا جاسکتا ہے۔ تاہم، spatiotemporal حرکیات کے لیے ماڈلنگ کی صلاحیت کی تاثیر پیچیدہ لیور سے پرت کی منتقلی کی وجہ سے محدود ہے۔

DMLSTM کے نام سے ایک نیا ریکرنٹ یونٹ تیار کیا گیا ہے جو اوپر بیان کردہ حدود پر قابو پانے کے لیے spatiotemporal prediction انجام دے گا، جیسا کہ شکل 2 میں دکھایا گیا ہے۔ سب سے پہلے، ConvLSTM[5] کی بنیاد پر ایک اضافی میموری یونٹ شامل کیا گیا ہے۔ اس یونٹ کا استعمال مقامی حالتوں کو ذخیرہ کرنے کے لیے کیا جاتا ہے، جو یونٹ کو مزید spatiotemporal نمائندگی سیکھنے کے قابل بناتا ہے۔ نوول ٹرانزیشن میکانزم کو بے کار گیٹ ڈھانچے، جیسے ان پٹ گیٹس کو رد کر کے ڈیزائن کیا گیا ہے۔ مختلف نان لائنر ڈھانچہ پکسل لیول کی پیشین گوئی میں طاقتور اندرونی نمائندگی سے محروم ہو جائے گا۔ دوسری طرف، حرکت پذیر اشیاء کی نمائندگی کو حاصل کرنے کے لیے مختلف کارروائیوں کو مؤثر طریقے سے لاگو کیا گیا ہے۔ لہذا، حرکت پذیر اشیاء کی نمائندگی کی تفصیلات کو پورا کرنے کے لیے پیشین گوئی کے کاموں کے لیے فرق کا استعمال کیا جا سکتا ہے۔ ڈی ایم ایل ایس ٹی ایم یونٹ میں، ملحقہ پوشیدہ حالتوں یا خام امیجز کو مختلف کرکے حرکت کی نمائندگی حاصل کرنے کے لیے مختلف آپریشن تیار کیا جاتا ہے، جس کی وجہ سے یونٹ میں spatiotemporal حرکیات کے لیے زیادہ طاقتور ماڈلنگ کی صلاحیت ہوتی ہے۔

3.2 دوہری توجہ کا طریقہ کار

Spatiotemporal پیشن گوئی پچھلی نمائندگیوں کو دیکھ کر مستقبل کے فریموں کی پیش گوئی کر سکتی ہے۔ تاہم، پیشین گوئی کے ماڈل کو تاریخی نمائندگیوں پر زیادہ توجہ دینی چاہیے جو پیشین گوئی شدہ مواد سے متعلق ہیں۔ توجہ کا طریقہ کار [27] کچھ عملی کاموں [32,33] میں مقامی اور عالمی نمائندگی کے درمیان طویل فاصلے تک انحصار کو پکڑ سکتا ہے۔ مزید یہ کہ، پیچیدہ حرکیات اور ظاہری شکل میں تبدیلیوں کی وجہ سے اسپیٹیوٹیمپورل پیشن گوئی مشکل ہے، جس کے لیے عارضی اور مقامی دونوں ڈومینز پر انحصار کی ضرورت ہوتی ہے۔ توجہ کے طریقہ کار کی ایک نئی قسم جس کا نام دوہری توجہ کا طریقہ کار ہے تجویز کیا گیا ہے۔ یہ فن تعمیر بالترتیب وقتی اور مقامی جہتوں سے طویل مدتی spatiotemporal تعامل کو حاصل کرتا ہے، اور پھر حاصل کردہ نمائندگیوں کو مستقبل کی پیشین گوئی کے لیے جمع کیا جاتا ہے۔

cistanche برائے فروختیاد میں

دوہری توجہ کا ماڈیول شکل 3 میں دکھایا گیا ہے جس میں موجودہ ٹائم اسٹیمپ کی پوشیدہ حالتیں Ht ∈ RH × W × C اور تاریخی ہیں {H1۔ . . Ht−1} ∈ Rn × H × W × C، جہاں H اور W مقامی سائز ہیں، C چینلز کی تعداد ہے، اور n چھپی ہوئی نمائندگیوں کی تعداد کو ظاہر کرتا ہے جو بالترتیب وقتی جہت کے ساتھ جڑے ہوئے ہیں۔

4. نتائج

اس مقالے میں spatiotemporal پیشن گوئی کے لیے ایک DMANet تجویز کیا گیا ہے۔ ایک DML-STM یونٹ کا استعمال مسلسل تصاویر کے درمیان مختلف کارروائیوں کا فائدہ اٹھا کر اور دوہری میموری کی منتقلی کے طریقہ کار کو اپنا کر نمائندگی کو مؤثر طریقے سے نکالنے کے لیے کیا جاتا ہے۔ ایک دوہری توجہ کا طریقہ کار بالترتیب وقتی اور مقامی جہتوں سے موجودہ پوشیدہ نمائندگیوں اور تاریخی پوشیدہ نمائندگیوں کے مابین ارتباط کا حساب لگا کر طویل مدتی spatiotemporal انحصار کو حاصل کرنے کے لیے ڈیزائن کیا گیا ہے۔ DMANet دونوں فوائد کو یکجا کرتا ہے اور اس طرح کے آرکیٹیکچرل ڈیزائن ماڈل کو قلیل مدتی حرکیات اور طویل مدتی سیاق و سباق کی نمائندگی کے لیے زیادہ ماڈلنگ طاقت کے ساتھ قابل بناتا ہے۔ تجرباتی نتائج یہ ظاہر کرتے ہیں کہ ہمارے طریقہ کار کی spatiotemporal پیشن گوئی میں بہترین کارکردگی ہے۔

یاد میں cistanche کہاں خریدنا ہے

Spatiotemporal پیشن گوئی امیر spatiotemporal ارتباط کی خود زیر نگرانی سیکھنے کا ایک امید افزا راستہ ہے۔ مستقبل کے کام کے لیے، ہم اس بات کی تحقیق کریں گے کہ حرکت پذیر اشیاء کو پس منظر سے کیسے الگ کیا جائے اور حرکت پذیر اشیاء پر زیادہ توجہ دی جائے۔

حوالہ جات

1. یاؤ، وائی؛ Atkins, E.; جانسن-روبرسن، ایم؛ واسودیون، آر. Du, X. Bitrap: دو جہتی پیدل چلنے والے راستے کی پیشن گوئی کثیر موڈل گول تخمینہ کے ساتھ۔ IEEE روبوٹ۔ آٹوم لیٹ 2021، 2، 1463–1470۔ [کراس ریف]

2. نغمہ، Z.؛ سوئی، ایچ. لی، ایچ۔ بڑے پیمانے پر آپٹیکل ریموٹ سینسنگ سیٹلائٹ امیجری میں سلینسی ڈٹیکشن اور CNN کا استعمال کرتے ہوئے ایک درجہ بندی آبجیکٹ کا پتہ لگانے کا طریقہ۔ انٹر J. Remote Sens. 2021, 42, 2827–2847. [کراس ریف]

3. لی، وائی؛ Cai, Y.; لی، جے؛ لینگ، ایس. ژانگ، X. ویڈیو بے ضابطگی کا پتہ لگانے کے لیے اسپیٹیو-ٹیمپورل یونٹی نیٹ ورکنگ۔ IEEE رسائی 2019، 1، 172425–172432۔ [کراس ریف]

4. Yurtsever, E.; لیمبرٹ، جے؛ کاربیلو، اے۔ تاکےڈا، K. خود مختار ڈرائیونگ کا ایک سروے: عام طرز عمل اور ابھرتی ہوئی ٹیکنالوجیز۔ IEEE رسائی 2020, 8, 58443–58469۔ [کراس ریف]

5. ش، ایکس۔ چن، زیڈ؛ وانگ، ایچ. ییونگ، DY Convolutional LSTM نیٹ ورک: ایک مشین لرننگ اپروچ برائے بارش نو کاسٹنگ۔ نیورل انفارمیشن پروسیسنگ سسٹمز، مونٹریال، کیو سی، کینیڈا، 7-12 جون 2015 پر 29ویں کانفرنس کی کارروائی میں؛ صفحہ 802-810۔

6. وانگ، وائی؛ لی، ایم؛ وانگ، جے؛ گاو، زیڈ؛ Yu, P. PredRNN: spatiotemporal LSTMs کا استعمال کرتے ہوئے پیشن گوئی سیکھنے کے لیے بار بار اعصابی نیٹ ورک۔ نیورل انفارمیشن پروسیسنگ سسٹمز، لانگ بیچ، بی سی، کینیڈا، 4-9 دسمبر 2017 پر 31 ویں کانفرنس کی کارروائی میں؛ صفحہ 879-888۔

7. وانگ، وائی؛ گاو، زیڈ؛ لانگ، ایم. وانگ، جے؛ Yu, P. PredRNN پلس پلس: spatiotemporal predictive Learning میں گہری وقتی مخمصے کے حل کی طرف۔ مشین لرننگ، اسٹاک ہوم، سویڈن، 10-15 اپریل 2019 پر 35ویں بین الاقوامی کانفرنس کی کارروائی میں؛ صفحہ 5123–5132۔

8. گڈ فیلو، آئی جے؛ Pouget-Abadie، J.؛ مرزا، ایم. سو، بی؛ وارڈ فارلے، ڈی جنریٹیو ایڈورسریل نیٹ ورکس۔ نیورل انفارمیشن پروسیسنگ سسٹمز، مونٹریال، کیو سی، کینیڈا، 8-13 دسمبر 2014 پر 28ویں کانفرنس کی کارروائی میں؛ صفحہ 2672–2680۔

9. Ivanovic, B.; کیرن، ایل. ایڈورڈ، ایس. پاوون، ایم ملٹی موڈل ڈیپ جنریٹو ماڈلز فار ٹریجیکٹری پریڈیکشن: ایک مشروط تغیراتی آٹو اینکوڈر اپروچ۔ IEEE روبوٹ۔ آٹوم لیٹ 2021، 2، 295–302۔ [کراس ریف]

10. رومیل ہارٹ، ڈی۔ ہنٹن، جی؛ ولیمز، آر. بیک پروپیگیٹنگ غلطیوں کے ذریعے نمائندگی سیکھنا۔ فطرت 1986، 1، 533–536۔ [کراس ریف]

11. Hochreiter, S.; شمڈوبر، جے طویل مختصر مدت کی یادداشت۔ نیورل کمپیوٹ۔ 1997، 8، 1735–1780۔ [کراس ریف]

12. Sutskever, I.; Vinyals, O.; Le, Q. عصبی نیٹ ورکس کے ساتھ سیکھنے کی ترتیب سے ترتیب۔ نیورل انفارمیشن پروسیسنگ سسٹمز میں پیشرفت کی کارروائی میں، مونٹریال، کیو سی، کینیڈا، 8-13 دسمبر 2014؛ صفحہ 3104–3112۔

13. داس، ایم. گھوش، S. ریموٹ سینسنگ تجزیہ کے لیے گمشدہ ڈیٹا کی پیش گوئی کرنے کے لیے ایک گہری سیکھنے پر مبنی پیشن گوئی کا جوڑا۔ IEEE J. Sel. اوپر۔ اپل زمین کا مشاہدہ۔ ریموٹ سینس۔ 2017، 12، 5228–5236۔ [کراس ریف]

14. اولیو، ایم. سیلوا، جے؛ Escalera, S. مستقبل کی ویڈیو پیشین گوئی کے لیے بار بار چلنے والے عصبی نیٹ ورکس کو جوڑ دیا گیا۔ کمپیوٹر وژن، میونخ، جرمنی، 8-14 دسمبر 2018 پر 15ویں یورپی کانفرنس کی کارروائی میں؛ صفحہ 716-731۔

15. سینگ، ڈی. ژانگ، Q. ژانگ، ایکس۔ چن، جی؛ چن، X. LSTM نیورل نیٹ ورک پر مبنی ہوا کے معیار کی اسپیٹیوٹیمپورل پیشن گوئی۔ ایلکس انج. J. 2021, 60, 2021–2032. [کراس ریف]

16. عابد، A.؛ رامین، Q. Abed, A. گہری سیکھنے کا استعمال کرتے ہوئے SDO امیجز سے شمسی شعلوں کی خودکار پیشین گوئی۔ Adv. خلائی ریس 2021، 67، 2544–2557۔ [کراس ریف]

17. لی، ایس؛ فینگ، جے؛ سو، ایچ. ڈیپ ملٹی برانچ ماسک نیٹ ورک کے ذریعے زیو، جے ویڈیو فریم کی پیشن گوئی۔ آئی ای ای ای ٹرانس۔ سرکٹس سسٹم ویڈیو ٹیکنالوجی۔ 2020، 4، 1-12۔ [کراس ریف]

18. وانگ، وائی؛ ژانگ، جے؛ Zhu, H.; لانگ، ایم. وانگ، جے؛ یو، پی. میموری میں میموری: spatiotemporal حرکیات سے ہائی آرڈر نان سٹیشناریٹی سیکھنے کے لیے ایک پیش گوئی کرنے والا نیورل نیٹ ورک۔ کمپیوٹر ویژن اور پیٹرن ریکگنیشن پر آئی ای ای ای کانفرنس کی کارروائی میں، لانگ بیچ، بی سی، کینیڈا، 16-20 جون 2020؛ صفحہ 9146-9154۔

19. چن، ایکس۔ Xu, C.; یانگ، ایکس؛ یانگ، ایکس؛ Tao, D. تنقید اور پسپائی کے ذریعے طویل مدتی ویڈیو پیشین گوئی۔ آئی ای ای ای ٹرانس۔ تصویری عمل۔ 2020، 29، 7090–7103۔ [کراس ریف]

20. نیڈا، ای. رضا، ایف اپٹا نیٹ اپٹیمر-پروٹین کے تعامل کی پیشین گوئی کے لیے ایک گہری سیکھنے کے نقطہ نظر کے طور پر۔ سائنس دوبارہ 2021، 11، 6074–6093۔

21. شین، بی؛ Ge, Z. نان لائنر ڈائنامک لیٹنٹ متغیرات اور صنعتی اطلاق کے گہرے نکالنے کے لیے ویٹڈ نان لائنر ڈائنامک سسٹم۔ آئی ای ای ای ٹرانس۔ Ind. مطلع کریں۔ 2021، 5، 3090–3098۔ [کراس ریف]

22. چاؤ، جے؛ ڈائی، ایچ. وانگ، ایچ. وانگ، T. نقل و حمل کے سائبر فزیکل سسٹمز میں ٹریفک کے بہاؤ کی پیشن گوئی کے لیے وسیع توجہ اور گہرا جامع ماڈل۔ آئی ای ای ای ٹرانس۔ Ind. مطلع کریں۔ 2021، 17، 3431–3440۔ [کراس ریف]

23. پاٹل، کے. Deo, M. مصنوعی نیورل نیٹ ورکس کے ساتھ سطح سمندر کے درجہ حرارت کی بیسن پیمانے پر پیشین گوئی۔ J. Atmos. سمندر ٹیکنالوجی. 2018، 7، 1441–1455۔ [کراس ریف]

24. اماتو، ایف۔ Guinard, F.; رابرٹ، ایس. Kanevski, M. گہری سیکھنے کا استعمال کرتے ہوئے ماحولیاتی ڈیٹا کی spatio-temporal prediction کے لیے ایک نیا فریم ورک۔ سائنس نمائندہ 2020، 10، 22243–22254۔ [کراس ریف]

25. یان، جے؛ کن، جی؛ زاؤ، آر. لیانگ، Y. Xu, Q. Mixpred: آپٹیکل فلو سے آگے ویڈیو کی پیشین گوئی۔ IEEE رسائی 2019، 1، 185654–185665۔ [کراس ریف]

26. وانگ، وائی؛ جیانگ، ایل. یانگ، ایم. لی، ایل. لانگ، ایم. Li, F. Eidetic 3D LSTM: ویڈیو پیشین گوئی اور اس سے آگے کا ماڈل۔ سیکھنے کی نمائندگی پر بین الاقوامی کانفرنس کی کارروائی میں، نیو اورلینز، ایل اے، USA، 6-9 مئی 2019؛ صفحہ 1-14۔

27. واسوانی، اے. شازیر، این. پرمار، این. Uszkoreit, J.; جونز، ایل۔ ​​توجہ صرف آپ کی ضرورت ہے۔ نیورل انفارمیشن پروسیسنگ سسٹمز، لانگ بیچ، بی سی، کینیڈا، 4-9 دسمبر 2017 پر 31 ویں کانفرنس کی کارروائی میں؛ صفحہ 5998-6008۔

28. چن، وائی؛ Kalantidis, Y.; لی، جے؛ Feng, J. A2 نیٹ: ڈبل توجہ والے نیٹ ورکس۔ نیورل انفارمیشن پروسیسنگ سسٹمز، مونٹریال، کیو سی، کینیڈا، 2–8 دسمبر 2018 پر 32 ویں کانفرنس کی کارروائی میں؛ صفحہ 352-361۔

29. ہوانگ، زیڈ؛ وانگ، ایکس؛ وی، وائی؛ ہوانگ، ایل. شی، ایچ سی سی نیٹ: سیمنٹک سیگمنٹیشن کے لیے کراس کراس توجہ۔ آئی ای ای ای ٹرانس۔ پیٹرن مقعد. مچ انٹیل۔ 2020، 1، 1-11۔ [کراس ریف]

30. فو، جے؛ لیو، جے؛ تیان، ایچ. Li, Y. منظر کی تقسیم کے لیے دوہری توجہ کا نیٹ ورک۔ کمپیوٹر ویژن اور پیٹرن ریکگنیشن، لانگ بیچ، BC، کینیڈا، 16-20 جون 2019 پر IEEE کانفرنس کی کارروائی میں؛ صفحہ 3146–3154۔

31. وانگ، زیڈ؛ بووک، اے. شیخ، ایچ. تصویری معیار کی تشخیص: خرابی کی نمائش سے ساختی مماثلت تک۔ آئی ای ای ای ٹرانس۔ تصویری عمل۔ 2004، 4، 600-612۔ [کراس ریف]

32. لیو، Q.؛ لو، ایس. لین، ایل یولوو3 توجہ کے چہرے کا پتہ لگانے والا اعلی درستگی اور کارکردگی کے ساتھ۔ کمپ سسٹم سائنس انج. 2021، 37، 283–295۔

33. لی، ایکس۔ Xu, F.; Xin، L. بڑے پیمانے پر سیٹلائٹ ریموٹ سینسنگ امیجز کے دوہری توجہ گہری فیوژن سیمنٹک سیگمنٹیشن نیٹ ورک۔ انٹر J. Remote Sens. 2021, 42, 3583–3610. [کراس ریف]

34. سریواستو، این. مانسیموف، ای. Salakhutdinov, R. LSTMs کا استعمال کرتے ہوئے ویڈیو نمائندگی کی غیر زیر نگرانی سیکھنا۔ مشین لرننگ پر 32ویں بین الاقوامی کانفرنس کی کارروائی میں، للی، فرانس، 6-11 جون 2015؛ صفحہ 843-852۔

35. گیجر، اے. لینز، پی. اسٹیلر، سی. Urtasun, R. Vision میٹز روبوٹکس: The KITTI ڈیٹاسیٹ۔ انٹر جے روبوٹ۔ Res. 2013، 32، 1231–1237۔ [کراس ریف]

36. ڈالر، صفحہ؛ ووجیک، سی. شیلی، بی؛ پیرونا، پی پیڈسٹرین ڈٹیکشن: ایک بینچ مارک۔ کمپیوٹر ویژن اور پیٹرن ریکگنیشن پر IEEE کانفرنس کی کارروائی میں، میامی، FL، USA، 20-25 جون 2009؛ صفحہ 304-311۔

37. لیو، جے؛ جن، بی؛ یانگ، جے؛ Xu, L. کیوبک B-spline انٹرپولیشن اور spatiotemporal توجہ کا طریقہ کار استعمال کرتے ہوئے سمندر کی سطح کے درجہ حرارت کی پیشن گوئی۔ ریموٹ سینس۔ Lett. 2021، 12، 12478–12487۔ [کراس ریف]