"Dua Penghitung - Satu Solusi": Bagaimana Otak Menggabungkan Suara dan Gambar untuk Menekan Tombol Lebih Cepat

Ketika ada suara gemerisik di rerumputan dan bayangan yang berkelap-kelip, kita bereaksi lebih cepat daripada jika hanya ada suara atau kilatan cahaya. Klasik. Tapi apa sebenarnya yang terjadi di otak dalam sepersekian detik itu? Sebuah makalah baru di Nature Human Behaviour menunjukkan bahwa penglihatan dan pendengaran mengumpulkan bukti secara terpisah, dan pada saat pengambilan keputusan, "jumlah" keduanya memicu satu pemicu motorik. Dengan kata lain, ada dua akumulator sensorik di kepala yang secara bersamaan mengaktifkan satu mekanisme motorik.

Latar belakang

Bagaimana otak membuat keputusan cepat di "dunia bising" yang dipenuhi suara dan gambar adalah pertanyaan yang telah ada sejak berabad-abad lalu, tetapi belum memiliki jawaban yang jelas. Sejak akhir abad ke-19 dan ke-20, "efek sinyal redundan" (RSE) telah dikenal dalam psikofisika: jika suatu target disajikan secara bersamaan dalam dua modalitas (misalnya, kilatan dan nada), reaksinya lebih cepat daripada dengan satu sinyal. Perdebatan tersebut berkisar pada mekanismenya: "perlombaan" saluran independen (model perlombaan), di mana proses sensorik tercepat menang, atau koaktivasi, di mana bukti dari berbagai modalitas benar-benar terakumulasi sebelum memicu respons. Uji formal (seperti ketidaksetaraan Miller) membantu pada tingkat perilaku, tetapi tidak menunjukkan di mana tepatnya "lipatan" terjadi - di sisi akumulator sensorik atau sudah di pemicu motorik.

Selama 10-15 tahun terakhir, neurofisiologi telah menawarkan penanda yang andal untuk tahap-tahap laten ini. Yang paling menonjol adalah positifitas sentro-parietal (CPP), sinyal EEG supra-modal "akumulasi ke ambang batas" yang sesuai dengan model drift-difusi pengambilan keputusan, dan reduksi beta (~20 Hz) pada korteks motorik kiri sebagai indeks persiapan gerakan. Sinyal-sinyal ini memungkinkan untuk menghubungkan model komputasi dengan sirkuit otak nyata. Namun, masih terdapat kesenjangan utama: apakah bukti audio dan visual terakumulasi dalam satu atau dua akumulator terpisah? Dan apakah terdapat ambang batas motorik tunggal untuk pengambilan keputusan multimodal, atau apakah setiap modalitas "dinilai" berdasarkan kriteria terpisah?

Komplikasi tambahan adalah pengaturan waktu. Dalam kondisi nyata, penglihatan dan pendengaran mengalami desinkroni mikrodetik-milidetik: sedikit pergeseran waktu dapat menutupi arsitektur proses yang sebenarnya. Oleh karena itu, diperlukan paradigma yang secara simultan mengendalikan aturan respons (untuk merespons modalitas apa pun atau hanya keduanya sekaligus), memvariasikan asinkroni, dan memungkinkan penggabungan distribusi perilaku waktu reaksi dengan dinamika penanda EEG dalam satu pemodelan. Pendekatan inilah yang memungkinkan kita untuk membedakan "penjumlahan akumulator sensorik dengan permulaan motorik tunggal berikutnya" dari skenario "perlombaan kanal" atau "penggabungan dini menjadi satu aliran sensorik".

Akhirnya, terdapat motivasi praktis di luar teori dasar. Jika akumulator sensorik memang terpisah dan pemicu motoriknya sama, maka dalam kelompok klinis (misalnya, Parkinsonisme, ADHD, gangguan spektrum), hambatannya mungkin terletak pada tingkat yang berbeda - dalam akumulasi, konvergensi, atau persiapan motorik. Untuk antarmuka manusia-mesin dan sistem peringatan, fase dan waktu isyarat sangat penting: pentahapan suara dan gambar yang tepat harus memaksimalkan kontribusi gabungan terhadap ambang motorik, dan bukan sekadar "meningkatkan volume/kecerahan." Pertanyaan-pertanyaan ini merupakan konteks dari sebuah makalah baru di Nature Human Behaviour, yang mengeksplorasi deteksi multimodal secara simultan pada tingkat perilaku, dinamika EEG (CPP dan beta), dan pemodelan komputasional.

Apa sebenarnya yang mereka temukan?

• Dalam dua percobaan EEG (n=22 dan n=21), peserta mendeteksi perubahan pada animasi titik (penglihatan) dan serangkaian nada (pendengaran) dengan menekan tombol ketika salah satu berubah (deteksi redundan) atau hanya ketika keduanya berubah (deteksi konjungtif).
• Para peneliti memantau "penghitung" bukti saraf—positivitas sentro-parietal (CPP)—dan dinamika aktivitas beta hemisfer kiri (~20 Hz) sebagai penanda persiapan gerakan. Sinyal-sinyal ini dibandingkan dengan distribusi waktu reaksi dan model komputasi.
• Intinya: bukti pendengaran dan penglihatan terakumulasi dalam proses terpisah, dan ketika terdeteksi secara berulang, kontribusi kumulatifnya secara subaditif (kurang dari jumlah sederhana) mengaktifkan satu proses motorik ambang batas - yang merupakan "pemicu" tindakan.

Detail penting adalah pemeriksaan "tidak sinkron". Ketika para peneliti memperkenalkan asinkroni kecil antara sinyal audio dan visual, model di mana akumulator sensorik pertama-tama terintegrasi dan kemudian menginformasikan sistem motorik menjelaskan data lebih baik daripada akumulator yang "berlomba" satu sama lain. Hal ini memperkuat gagasan bahwa aliran sensorik berjalan secara paralel tetapi bertemu pada satu simpul keputusan motorik.

Mengapa Anda perlu mengetahui hal ini (contoh)

• Klinik dan diagnostik. Jika akumulator sensorik terpisah, dan ambang motoriknya sama, maka kelompok pasien yang berbeda (dengan ASD, ADHD, Parkinsonisme) dapat mengalami "nodus kerusakan" yang berbeda – dalam hal akumulasi, konvergensi, atau pemicu motorik. Hal ini membantu merancang biomarker dan pelatihan atensi/reaksi secara lebih akurat.
• Antarmuka manusia-mesin: Desain sinyal peringatan dan antarmuka multimoda dapat memperoleh manfaat dari pengaturan tahapan isyarat suara dan visual yang optimal - sehingga ko-aktivasi motorik lebih cepat dan lebih stabil.
• Model saraf pengambilan keputusan. Hasilnya menghubungkan "kontroversi" perilaku jangka panjang (ras vs. koaktivasi) dengan penanda EEG spesifik (CPP dan ritme beta korteks motorik), yang membawa model komputasi lebih dekat dengan fisiologi nyata.

Bagaimana hal itu dilakukan (metodologi, tetapi singkat)

• Paradigma: redundan (merespons modalitas apa pun) dan konjungtif (merespons keduanya sekaligus) - teknik klasik yang memungkinkan Anda "menimbang" kontribusi setiap cabang sensorik. Ditambah eksperimen terpisah dengan asinkroni tertentu antara audio dan video.
• Sinyal saraf:
  • CPP - indeks "supramodal" akumulasi bukti sensorik hingga ambang batas;
  • Penurunan beta pada korteks motorik kiri merupakan indikator persiapan gerakan. Perbandingan profil waktu mereka menunjukkan amplitudo CPP yang berbeda untuk target pendengaran vs. visual (tanda akumulator terpisah) dan dorongan bersama mekanisme beta (tanda ambang motorik yang sama).
• Simulasi: pencocokan gabungan distribusi perilaku RT dan dinamika EEG. Model dengan integrasi akumulator sensorik sebelum nodus motorik memenangkan perbandingan, terutama dengan adanya asinkroni.

Apa yang berubah dalam gambaran otak ini?

• Multimodalitas ≠ "campur dan lupakan." Otak tidak membuang semua bukti ke dalam satu wadah; ia menyimpan catatan paralel di berbagai saluran, dan integrasi terjadi mendekati tindakan. Ini menjelaskan mengapa isyarat multimoda mempercepat waktu reaksi - keduanya memicu sinyal motorik yang sama.
• Subaditivitas adalah norma. "Jumlah" masukan sensorik lebih sedikit daripada aritmatika sederhana, tetapi cukup untuk mencapai ambang motorik lebih cepat. Jadi, tujuan antarmuka bukanlah untuk "menambah volume dan kecerahan", melainkan untuk menyinkronkan konvergensi.
• Jembatan Antara Psikofisika dan Neurofisiologi: Efek “Isyarat Redundan” Perilaku Lama Menerima Penjelasan Mekanistik melalui Penanda CPP dan Beta.

Keterbatasan dan langkah selanjutnya

• Sampelnya adalah orang dewasa sehat yang menjalani tugas laboratorium; kesimpulan klinis merupakan tahap selanjutnya. Pengujian diperlukan pada pasien dan di lingkungan multimoda alami.
• EEG memberikan gambaran temporal yang sangat baik tetapi spasial yang terbatas; logis untuk melengkapinya dengan registrasi MEG/invasif dan model konektivitas yang efektif.
• Teori ini meramalkan bahwa pelatihan dalam pengaturan waktu isyarat audio-visual akan secara selektif meningkatkan tahap motorik tanpa mengubah akumulator sensorik - ini adalah hipotesis yang dapat diuji dalam tugas terapan (olahraga, penerbangan, rehabilitasi).

Ringkasan

Otak menyimpan "penghitung" terpisah untuk penglihatan dan pendengaran, tetapi memutuskan dengan satu tombol. Dengan memahami di mana tepatnya "pelipatan" informasi sensorik menjadi tindakan terjadi, kita dapat menyesuaikan diagnostik, antarmuka, dan rehabilitasi dengan lebih akurat - mulai dari helm pilot hingga telemedis dan neuroedukasi atensi.

Sumber: Egan, JM, Gomez-Ramirez, M., Foxe, JJ dkk. Akumulator audio dan visual yang berbeda mengko-aktivasi persiapan motorik untuk deteksi multisensori. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9