توصلت دراسة جديدة إلى أن تحليل فورييه ، وهو أسلوب رياضي موجود منذ 200 عام ، يمكن أن يكشف عن معلومات مهمة حول كيفية تعلم الشبكات العصبية العميقة لأداء المهام الفيزيائية المعقدة مثل نمذجة المناخ والاضطراب. يسلط هذا البحث الضوء على إمكانات تحليل فورييه كأداة لاكتساب رؤى ثاقبة في الأعمال الداخلية للذكاء الاصطناعي وقد يكون لها آثار مهمة لتطوير خوارزميات تعلم آلي أكثر فعالية.

“الصندوق الأسود” للذكاء الاصطناعي العلمي لا يتناسب مع نظام عمره 200 عام

تكشف تحولات فورييه كيف تتعلم الشبكة العصبية العميقة الفيزياء المعقدة.

واحدة من أقدم الأدوات في الفيزياء الحاسوبية – تقنية رياضية عمرها 200 عام تحليل فورييه – يمكن أن تكشف دراسة جديدة عن معلومات مهمة حول كيفية تعلم شكل من أشكال الذكاء الاصطناعي المعروف باسم الشبكة العصبية العميقة أداء المهام التي تنطوي على فيزياء معقدة ، مثل نمذجة المناخ والاضطراب.

تم وصف النتائج التي توصل إليها باحثو الهندسة الميكانيكية في جامعة رايس في دراسة متاحة للجميع نُشرت في مجلة Science. PNAS نيكزسمنشور أخت وقائع الأكاديمية الوطنية للعلوم.

قال بيترام حسن زاده ، مؤلف الدراسة المقابل: “هذا هو أول إطار صارم لشرح وتوجيه تطبيق الشبكات العصبية العميقة على الأنظمة الديناميكية المعقدة مثل المناخ”. “يمكن أن يؤدي هذا إلى تسريع استخدام التعلم العلمي العميق في علوم المناخ بشكل كبير ويؤدي إلى تنبؤات أكثر موثوقية بشأن تغير المناخ.”

قام باحثو جامعة رايس بتدريب شكلاً من أشكال الذكاء الاصطناعي يسمى الشبكة العصبية للتعلم العميق للتعرف على التدفقات المعقدة للهواء أو الماء والتنبؤ بكيفية تغير التدفقات بمرور الوقت. توضح هذه الشاشة الاختلافات المهمة بين مقدار الميزات التي يعرضها النموذج أثناء التدريب (أعلى) والميزات التي يتعلمها للتعرف (أسفل) لعمل تنبؤاته. بفضل: ب. الصورة بإذن من حسن زاده / جامعة رايس

في الورقة ، قام الخريجون حسن زاده ، وآدم سوبيل ، وآشش تشاتوبادياي ، وزميل أبحاث ما بعد الدكتوراه ييفي جوان ، بتفصيل استخدام تحليل فورييه لدراسة شبكة عصبية التعلم العميق المدربة على تحديد التدفقات المعقدة للهواء في الغلاف الجوي. أو المياه في المحيط وتوقع كيف ستتغير هذه التدفقات بمرور الوقت. وكشف تحليلهم أن “الشبكة العصبية لم تتعلم فحسب ، بل مكنتنا من ربط ما تعلمته الشبكة مباشرة بفيزياء النظام المعقد الذي كانت تصممه” ، على حد قول حسن زاده.

“الشبكات العصبية العميقة من المعروف أنه من الصعب فهمه وغالبًا ما يُنظر إليهم على أنهم “صناديق سوداء”. “هذا هو أحد الاهتمامات الرئيسية في استخدام الشبكات العصبية العميقة في التطبيقات العلمية. والآخر هو التعميم: لا يمكن لهذه الشبكات أن تعمل في نظام مختلف عن النظام الذي تم تدريبهم عليه.

يتطلب تدريب الشبكات العصبية العميقة المتطورة كميات كبيرة من البيانات ، ولا يزال عبء إعادة التدريب كبيرًا مع الأساليب الحالية. بعد تدريب شبكة التعلم العميق وإعادة تدريبها لأداء مهام مختلفة تتضمن فيزياء معقدة ، قارن باحثو جامعة رايس كل 40 ألف نواة من التكرارين باستخدام تحليل فورييه ووجدوا أن أكثر من 99٪ كانت متطابقة. يوضح هذا الرسم التوضيحي أطياف فورييه لأربعة حبات تختلف اختلافًا كبيرًا قبل (يسار) وبعد (يمين) إعادة التدريب. توضح النتائج قدرة الطريقة على تحديد المسارات عالية الكفاءة لإعادة التدريب والتي تتطلب بيانات أقل بشكل ملحوظ. بفضل: ب. الصورة بإذن من حسن زاده / جامعة رايس

قال حسن زاده إن الإطار التحليلي الذي يقدمه فريقه في الورقة “يفتح الصندوق الأسود ، يمكننا أن ننظر إلى الداخل لفهم ما تعلمته الشبكات ولماذا ، وربط ذلك بفيزياء النظام المتعلم”.

سوبيل ، المؤلف الرئيسي للدراسة ، بدأ البحث كطالب جامعي في رايس وهو الآن طالب دراسات عليا.[{” attribute=””>New York University. He said the framework could be used in combination with techniques for transfer learning to “enable generalization and ultimately increase the trustworthiness of scientific deep learning.”

While many prior studies had attempted to reveal how deep learning networks learn to make predictions, Hassanzadeh said he, Subel, Guan and Chattopadhyay chose to approach the problem from a different perspective.

Pedram Hassanzadeh. Credit: Rice Universit

“The common machine learning tools for understanding neural networks have not shown much success for natural and engineering system applications, at least such that the findings could be connected to the physics,” Hassanzadeh said. “Our thought was, ‘Let’s do something different. Let’s use a tool that’s common for studying physics and apply it to the study of a neural network that has learned to do physics.”

He said Fourier analysis, which was first proposed in the 1820s, is a favorite technique of physicists and mathematicians for identifying frequency patterns in space and time.

“People who do physics almost always look at data in the Fourier space,” he said. “It makes physics and math easier.”

For example, if someone had a minute-by-minute record of outdoor temperature readings for a one-year period, the information would be a string of 525,600 numbers, a type of data set physicists call a time series. To analyze the time series in Fourier space, a researcher would use trigonometry to transform each number in the series, creating another set of 525,600 numbers that would contain information from the original set but look quite different.

“Instead of seeing temperature at every minute, you would see just a few spikes,” Subel said. “One would be the cosine of 24 hours, which would be the day and night cycle of highs and lows. That signal was there all along in the time series, but Fourier analysis allows you to easily see those types of signals in both time and space.”

Based on this method, scientists have developed other tools for time-frequency analysis. For example, low-pass transformations filter out background noise, and high-pass filters do the inverse, allowing one to focus on the background.

Adam Subel. Credit: Rice University

Hassanzadeh’s team first performed the Fourier transformation on the equation of its fully trained deep-learning model. Each of the model’s approximately 1 million parameters act like multipliers, applying more or less weight to specific operations in the equation during model calculations. In an untrained model, parameters have random values. These are adjusted and honed during training as the algorithm gradually learns to arrive at predictions that are closer and closer to the known outcomes in training cases. Structurally, the model parameters are grouped in some 40,000 five-by-five matrices, or kernels.

“When we took the Fourier transform of the equation, that told us we should look at the Fourier transform of these matrices,” Hassanzadeh said. “We didn’t know that. Nobody has done this part ever before, looked at the Fourier transforms of these matrices and tried to connect them to the physics.

“And when we did that, it popped out that what the neural network is learning is a combination of low-pass filters, high-pass filters and Gabor filters,” he said.

“The beautiful thing about this is, the neural network is not doing any magic,” Hassanzadeh said. “It’s not doing anything crazy. It’s actually doing what a physicist or mathematician might have tried to do. Of course, without the power of neural nets, we did not know how to correctly combine these filters. But when we talk to physicists about this work, they love it. Because they are, like, ‘Oh! I know what these things are. This is what the neural network has learned. I see.’”

Subel said the findings have important implications for scientific deep learning, and even suggest that some things scientists have learned from studying machine learning in other contexts, like classification of static images, may not apply to scientific machine learning.

“We found that some of the knowledge and conclusions in the machine learning literature that were obtained from work on commercial and medical applications, for example, do not apply to many critical applications in science and engineering, such as climate change modeling,” Subel said. “This, on its own, is a major implication.”

Reference: “Explaining the physics of transfer learning in data-driven turbulence modeling” by Adam Subel, Yifei Guan, Ashesh Chattopadhyay and Pedram Hassanzadeh, 23 January 2023, PNAS Nexus.
DOI: 10.1093/pnasnexus/pgad015

Chattopadhyay received his Ph.D. in 2022 and is now a research scientist at the Palo Alto Research Center.

The research was supported by the Office of Naval Research (N00014- 20-1-2722), the National Science Foundation (2005123, 1748958) and the Schmidt Futures program. Computational resources were provided by the National Science Foundation (170020) and the National Center for Atmospheric Research (URIC0004).