وبالعودة إلى الورقة البحثية، نجد أنها تقوم على إعادة بناء التجارب المرئية من نشاط الدماغ البشري لفهم كيفية تمثيل الدماغ للعالم، وتفسير العلاقة بين نماذج رؤية الكمبيوتر ونظامنا البصري، وفي حين تم استخدام نماذج توليدية عميقة مؤخراً لهذه المهمة، لا تزال إعادة بناء الصور الواقعية بدقة دلالية عالية مشكلة صعبة.
وتتحدث الورقة البحثية التي أعدها كل من يو تاكاجي وشينجي ناشيموتو اللذين يدرسان في كلية الدراسات العليا للعلوم البيولوجية بجامعة أوساكا اليابانية، عن نتائج تجربة وضع خلالها أشخاص داخل جهاز الرنين المغناطيسي MRI، وعرض بعض الصور عليهم، وتسجيل قراءات لموجات المخ وإشاراته في أثناء مشاهدتهم للصور، ثم نقلت تلك البيانات وأدخلت لنموذج ذكاء اصطناعي لتوليد الصور يسمى LDM (الانتشار المستقر).
وكانت النتيجة المفاجئة أو قل “الصادمة” أن النموذج استطاع تحويل تلك البيانات إلى صور تكاد تتطابق مع الصور التي شاهدها المتطوعون للتجربة في أثناء وجودهم في جهاز الرنين المغناطيسي.
وتلك الصور وإن لم تكن مطابقة للأصل، لكنها تعد قفزة كبيرة في هذا المجال، يمكن البناء عليها وتخيل ما يمكن أن تصل إليه النماذج اللغوية والتصويرية مع هذا التسابق المحموم الذي كسر توقعات الخبراء بالنسبة لهذا العالم الذي فتحه الإنسان على نفسه.
وقال الطالبان في مدونة لهما، إنهما وصفا كمياً في هذه الورقة العلاقة بين نشاط الدماغ البشري ونوع من الذكاء الاصطناعي لتوليد الصور يسمى LDM (الانتشار المستقر)، فاستطعنا فك تشفير (تصور) المحتوى الإدراكي من نشاط الدماغ.
وأضاف الطالبان أن هذه الورقة توضح أنه من خلال الجمع بين المعلومات الهيكلية المرئية التي تم فك تشفيرها من النشاط في القشرة البصرية المبكرة مع السمات الدلالية التي تم فك تشفيرها من النشاط في المناطق ذات الترتيب الأعلى وعن طريق تعيين المعلومات التي تم فك تشفيرها مباشرة إلى التمثيلات الداخلية لنموذج الانتشار الكامن (LDM الانتشار المستقر) دون ضبط دقيق، من الممكن فك تشفير (أو توليد) الصور من نشاط الدماغ.
