AI dan Aktivitas Otak Manusia dipakai untuk Merekonstruksi Gambar Beresolusi Tinggi

Sedang Trending 3 minggu yang lalu


Picture: PetaPixel

Teknologi.id - Bagaimana jika kepintaran buatan dapat menafsirkan khayalan Anda, mengubah gambar dari pikiran Anda langsung menjadi kenyataan? Meskipun terdengar seperti plot novel cyberpunk, para peneliti menemukan bahwa mereka dapat merekonstruksi gambar beresolusi tinggi berasas informasi fMRI dari kegiatan otak manusia, dan merekonstruksi pengalaman visual, dengan mengandalkan model difusi laten (LDM) AI nan disebut pencitraan Stable Diffusion.

Computer vision selalu terinspirasi oleh pengetahuan saraf dan salah satu tujuannya memungkinkan sistem buatan untuk memandang bumi seperti nan dilihat seseorang. Antara lain, kemajuan pengetahuan saraf dan kepintaran buatan telah menunjukkan bahwa ada komparasi langsung antara representasi laten nan ada di otak manusia dan arsitektur jaringan saraf.

Tim nan dipimpin oleh peneliti Yu Takagi dan Shinji Nishimoto menulis dalam sebuah makalah nan diterbitkan pada bulan Desember kemarin bahwa, tidak seperti penelitian-penelitian lain sebelumnya, mereka tidak perlu melatih alias menyempurnakan model kepintaran buatan untuk membikin gambarnya.

Baca juga: Gratis! Begini Cara Bikin CV ATS Pakai AI di Situs ResumAI

Beberapa studi sebelumnya telah mencoba rekonstruksi gambaran beresolusi tinggi, tetapi hanya setelah training dan penyempurnaan model generatif. Hal ini menyebabkan adanya pembatasan lantaran melatih model kompleks adalah tugas nan sulit, dan neurobiologi tidak mempunyai banyak sampel untuk dikerjakan. Hingga saat ini, belum ada peneliti lain nan mencoba menggunakan model difusi untuk rekonstruksi visual.

Studi nan baru ini menunjukkan sekilas potensi proses internal model difusi, para peneliti menyimpulkan, bahwa mereka memberikan interpretasi kuantitatif model dari perspektif pandang biologis untuk pertama kalinya.

Tim nan bekerja di Graduate School of Frontier Biosciences, Universitas Osaka ini menjelaskan pertama-tama mereka memprediksi representasi laten, nan merupakan model informasi gambar dari sinyal fMRI. Model tersebut kemudian diproses dan noise ditambahkan ke dalamnya menggunakan proses difusi. Akhirnya, para peneliti menguraikan gambar teks dari sinyal fMRI di korteks visual otak dan menggunakannya sebagai masukan untuk membikin gambar akhir nan dibuat.


Picture: PetaPixel

Pada gambar di atas, gambar di kotak merah atas menunjukkan gambar original nan disajikan kepada perseorangan dalam penelitian. Sedangkan gambar pada baris paling bawah merupakan gambaran nan direkonstruksi dari kegiatan otak manusia menggunakan Stable Diffusion, Semantic Decoder, dan fMRI image generation.

Para intelektual memberi perseorangan satu set gambar dan mengambil pemindaian fMRI (functional magnetic resonance imaging) otak mereka selagi mereka berkonsentrasi pada gambar.

Mereka menggunakan Natural Scenes Dataset (NSD): “data diperoleh dari pemindai 7-Tesla fMRI selama 30-40 sesi di mana setiap subjek memandang tiga pengulangan dari 10.000 gambar.” Penulis kemudian mengambil gambar di MS COCO dan catatan tekstual. Stable Diffusion bekerja dengan mengambil prompt tekstual, nan diubah menjadi fitur oleh model bahasa dan ini kemudian mendorong U-Net dalam membikin representasi gambar, nan kemudian diterjemahkan oleh dekoder menjadi gambar (dalam piksel).

Baca juga: Guru Jangan Mau Dicurangi Siswa! Berikut Cara Cek Plagiarisme AI Gratis

Tim menggunakan kombinasi output gambar fMRI dan Semantic Decoder untuk membikin gambar nan dihasilkan. Namun, mereka menemukan bahwa penambahan Stable Difusion ke dalam proses memungkinkan gambar akhir nan dihasilkan terlihat lebih mirip dengan gambar original nan ditunjukkan kepada peserta.

Pelatihan alias penyempurnaan model generatif dalam nan rumit tidak diperlukan, lantaran kerangka kerja sederhana ini merekonstruksi gambar beresolusi tinggi dari sinyal Pencitraan Resonansi Magnetik (fMRI) fungsional menggunakan Stable Diffusion. Proses konversi teks ke gambar nan diterapkan oleh Stable Diffusion menggabungkan informasi semantik nan diekspresikan oleh teks bersyarat, sekaligus mempertahankan tampilan gambar aslinya.


Picture: MLearning.ai

KIRI: Encoder dan decoder gambar digunakan, berbareng dengan encoder teks nan disebut CLIP. Studi ini menggunakan kajian decoding untuk memecahkan kode representasi laten gambar dan teks terkait dari sinyal fMRI di beragam bagian korteks visual, dan kemudian menggunakan representasi ini untuk merekonstruksi gambar. Studi ini juga menggunakan model pengkodean untuk memprediksi sinyal fMRI dari beragam komponen LDM. KANAN: Gambar nan direkonstruksi untuk satu subjek nan disajikan (dalam kotak merah).

Dengan perkembangan AI generatif, semakin banyak peneliti nan menguji gimana model AI dapat bekerja dengan otak manusia. Pada Januari 2022, peneliti dari Radboud University di Belanda melatih jaringan AI generatif, pendahulu Stable Diffusion, untuk bekerja dengan informasi fMRI dari 1.050 perseorangan unik dan mengubah hasil pencitraan otak menjadi gambar nyata.

Studi tersebut menunjukkan bahwa AI bisa melakukan rekonstruksi stimulus nan belum pernah terjadi sebelumnya. Dalam studi terbaru nan diterbitkan pada Desember 2022, para intelektual dari Universitas Osaka menemukan bahwa model difusi modern sekarang dapat memberikan rekonstruksi visual beresolusi tinggi.

(da)

Sumber Blog Teknologi Indonesia
Blog Teknologi Indonesia
close
Atas