SELAMAT DATANG - FKIP UNISMA

SELAMAT DATANG

www.its.ac.id/informatika Departemen Teknik Informatika, INSTITUT TEKNOLOGI SEPULUH NOPEMBER

Perkenalkan, nama saya

Hadziq Fabroyir

Departemen Teknik InformatikaInstitut Teknologi Sepuluh Nopember (ITS), Surabaya


Lulus S3 dari Taiwan Tech 國立臺灣科技大學

Riset seputar Virtual Reality 研究領域：虛擬現實


Realitas X (XR) untuk Pembelajaran Matematika

Presenter

Presentation Notes

Realitas X dan Revitalisasi Dunia Pendidikan (Pasca Pandemi)

Presenter

Presentation Notes

Saya ingin tahu tentang Anda. Mohon angkat tangan (raise hand) jika Anda bekerja di dunia kesehatan, …, dunia industry dan manufaktur, …, dunia hiburan, …, dunia perangkat lunak yang mendukung usaha di bidang-bidang tadi… Tanpa pandang bulu, semua area ini akan terdisrupsi oleh teknologi realitas maya. Adakah diantara Anda yang pernah mencoba VR (mohon angkat tangan)? Adakah yang pernah mencoba AR? Jika Anda tidak yakin akan kesuksesan dan signifikansi teknologi ini, Anda tidak sendiri. Alasannya, karena masih sangat mahal, dan kita tampak idiot ketika menggunakan HMD di wajah kita (apalagi jika nanti harus dilakukan sebagai rutinitas). Namun, mengapa teknologi ini selalu disitasi sebagai top trend di setiap laporan analisis Gartner, Forrester, IDC, Deloitte’s? Mengapa para raksasa teknologi saling bersaing untuk menjadi yang terdepan di domain ini? Google, Facebook, Intel, Microsoft, Adobe? Itulah kenapa hari ini kita akan berdiskusi tentang apa yang membuat teknologi ini begitu potensial dan disruptif.


Kenapa Kita Perlu Belajar XR?

Mainframe(1970)

PC(1990)

Smart Phone (2010)

XR?(2030)

Presenter

Presentation Notes

XR adalah jaringan ikat penghubung teknologi-teknologi penting penyokong IR 4.0: Big Data, AI, Robotics, dsb. XR adalah antarmuka pengguna generasi berikutnya Teknologi ini sedang berkembang. Harganya terus turun, tapi kualitasnya terus meningkat menyelesaikan berbagai isu seperti motion sickness dan form factor. Tahap perkembangannya selama ini: VR berkabel (dengan pelacakan posisi dan kontroller genggam) VR bergerak/nirkabel (dengan pelacakan posisi) MR/AR (dengan berbagai fungsionalitas dan form factor-nya)


What is Reality?Apa itu Realitas?

Sebuah lingkungan

yang dialami melalui rangsangan (seperti penglihatan dan suara)

dimana aksi seseorang menentukan apa yang akan terjadi berikutnya di lingkungan tersebut

Realitas

Dunia

Interaksi

Timbal balik

sensorik

Imersi


What is Virtual Reality?Apa itu Realitas Virtual?

Sebuah lingkungan buatan

yang dialami melalui rangsangan (seperti penglihatan dan suara) yang disediakan oleh komputer

dimana aksi seseorang menentukan apa yang akan terjadi berikutnya di lingkungan tersebut

Realitas Virtual

Dunia Virtual

Interaksi

Timbal balik

sensorik

Imersi

Teknologi XReXtended Reality

eXtended Reality

XR

Virtual Reality

VR

Mixed Reality

MR

Augmented Reality

AR

Teknologi XR atau Realitas X mengombinasikan lingkungan dan interaksi baik maya maupun nyata yang mampu memberikan pengalamanimersif kepada penggunanya.

Presenter

Presentation Notes

Mengapa teknologi ini begitu berperan bagi masyarakat? Permasalahan apa yang bisa kita selesaikan melalui teknologi ini? Teknologi inilah yang akan menjadi platform imersif di masa depan. Dia akan menjadi jaringan ikat dari kecerdasan buatan, robotic, dan seluruh teknologi yang mewarnai revolusi industry 4.0.


Kontinum Milgram


Konsep Realitas

Masukan

Keluaran

Logika Aplikasi

Penggambaran

Umpan Balik

Pengguna

Aksi


Apa saja ragam teknologi XR?

http://bit.ly/MIRO-SENANDIKA-2020

http://bit.ly/MIRO-SENANDIKA-2020

VR Headset merupakan sebuah perangkat yang telah dilengkapi komponen elektronik speerti: layar, motion tracking sensor (accelerometer, gyroscope, dll), serta komponen opsional lainnya seperti untuk input/output audio ataupun video.

Contoh: Oculus Rift, HTC Vive

VR Headset

HTC Vive: Rp 23 juta-an

Kat Walk Mini: Rp59.000.000


WebXR


Mozilla Mixed Realityhttps://mixedreality.mozilla.org

Platform Realitas X Berbasis Web Terbuka

https://mixedreality.mozilla.org/


Moz://a Mixed Reality

Peramban web dibuat khusus untuk perangkat VR nirkabel

Firefox Reality

Ruang virtual yang bisa dibuat dan dibagi

Moz://a Hubs

Alat penyusun dan pembuat ruang virtual untuk Hubs

Moz://a Spoke

https://mixedreality.mozilla.org/firefox-reality

https://hubs.mozilla.com/

https://hubs.mozilla.com/spoke


Hello WebXRhttps://mixedreality.mozilla.org/hello-webxr

https://mixedreality.mozilla.org/hello-webxr

Ingin Mulai Belajar XR?

Mulailah dari A-Frame

hadziq/BelajarAFrame (github.com)

https://github.com/hadziq/BelajarAFrame

ContohA-Frame

Membuat bola dan bidang datar

Presenter

Presentation Notes

Easily code a virtual reality web experience with A-Frame (WebVR) https://www.youtube.com/watch?v=jhEfT9YjLcU

<script src="https://cdnjs.cloudflare.com/ajax/libs/aframe/1.0.4/aframe.min.js">

</script>

<a-scene>

<a-sphere>

</a-sphere>

<a-plane src="https://media.giphy.com/media/xT1R9OTDDDCMdZPQLS/giphy.gif"

width="10" height="10" position="0 0 -5"rotation="-90 0 0" color=“yellow">

</a-plane>

</a-scene>

<script src="index.js"></script>

ContohA-Frame

Membuat bola dan bidang datar

Presenter

Presentation Notes

Easily code a virtual reality web experience with A-Frame (WebVR) https://www.youtube.com/watch?v=jhEfT9YjLcU

Domain RisetRealitas XRiset dan pengajaran menyangkut realitas mencakupi aspek:

(1) Dunia, (2) Interaksi, (3) Timbal balik sensorik, dan (4) Imersi & presensi

Realitas

Dunia

Interaksi

Timbal balik

sensorik

Imersi & Presensi

Presenter

Presentation Notes

Diantara alasan saya mengerjakan riset di AR/VR adalah saya ingin memecahkan biner otak dan badan yang kita turunkan dari nenek moyang kita (peradaban dan pengetahuan Yunani dan Romawi kuno) dan mengembalikannya ke badan kita. Saya percaya bahwa kita bisa belajar dengan hasil terbaik Ketika kita berada dalam tubuh kita (tidak dengan membaca, menulis, atau menonton, tapi dengan mengalami). Saya percaya bahwa kita bisa berkolaborasi dengan optimal Ketika kita mengadaptasi cara-cara interaktif untuk membagikan informasi dan pengetahuan.

Pemanfaatan Teknologi XR

Pendidikan dan Pelatihan

Latihan militer

Praktik medis

Simulasi penerbangan

Media belajar perkuliahan

Presenter

Presentation Notes



Sejarah Penyerapan Informasi

Presenter

Presentation Notes

Diantara alasan saya mengerjakan riset di AR/VR adalah saya ingin memecahkan biner otak dan badan yang kita turunkan dari nenek moyang kita (peradaban dan pengetahuan Yunani dan Romawi kuno) dan mengembalikannya ke badan kita. Saya percaya bahwa kita bisa belajar dengan hasil terbaik Ketika kita berada dalam tubuh kita (tidak dengan membaca, menulis, atau menonton, tapi dengan mengalami). Saya percaya bahwa kita bisa berkolaborasi dengan optimal Ketika kita mengadaptasi cara-cara interaktif untuk membagikan informasi dan pengetahuan. Tambahan nilai besar yang pertama oleh XR adalah kemampuannya untuk menggaet atensi para penyerap informasi (masyarakat digital). Kita hidup di sebuah dunia di mana kita berenang di sebuah lautan data berkelimpahan, dan kita tahu bahwa kekuatan itu terhubung dengan kemampuan kita untuk mengakses, menanamkan, memodelkan, dan menyerap informasi. Jadi, bagaimana kita menavigasi samudera data dan informasi yang saling tersambung secara hiper ini dengan cara yang terbaik? Semuanya bermula di sini (di gambar paling kiri), di sebuah sabana yang dialami oleh para leluhur kita. Semuanya sangat fisik, terikat ruang. Lalu kita menuju ke bagaimana kakek/nenek kita menyerap informasi dari perangkat-perangkat yang masih terkategori fisik, tapi lebih ringkas. Sekarang, kita berpindah ke GUI dimana setiap objek fisik bisa diabstraksikan, diuangkan, didigitalisasikan, dan diletakkan di smartphone kita. Apa yang terjadi ketika kita melakukan ini?


KitaKebanjiran Informasi…

“ Keberlimpahan informasi

menciptakan kemiskinan atensi ”

- Herbert Simon

Presenter

Presentation Notes

Ketika kepadatan informasi meningkat, multitasking meningkat, sehingga paradigma baru harus dipelajari yang tentunya akan meningkatkan beban kognitif. Apa dampaknya kepada keseharian kita? Kebanjiran informasi! (Pemenang hadiah nobel, seorang ahli ekonomi, sosiologi, dan ilmu komputer) Herbert Simon memprediksikan: “Kemakmuran informasi menciptakan kemiskinan atensi (perhatian)” Hal apa yang saat ini secara dermawan Anda berikan kepada saya? Sebuah sumber daya yang sangat penting… Kenalilah atensi Anda sebagai sebuah hal yang sangat berharga di era digital ini: Gunakan secara bijak. Di sebuah waktu dimana kita mengabstraksikan begitu banyak hal di dalam hidup dan dimana kita terbanjiri oleh informasi, tidakkah akan lebih baik jika kita memiliki sebuah teknologi yang mampu membuat sebuah penginderaan kehadiran fisik dan atensi yang sepenuhnya imersif?


SaatnyaMerevolusi Pembelajaran

Saatnya turun ke dasar kerucut pengalaman Edgar Dale.

Presenter

Presentation Notes

XR merevolusi cara kita berlatih dan belajar. Apakah Anda memperhatikan bahwa separuh keahlian dalam hidup akan berkurang di dunia kerja di masa depan, dimana sistem pendidikan kita sedang menghadapi waktu yang sangat sulit untuk menyesuaikan dengan ekosistem kerja di masa sekarang dan bahkan melatih pegawai kita ke sebuah teknologi secara cepat bisa menjadi tantangan yang cukup besar? Psikolog kognitif kini mengejar apa yang diketahui sebagai ekologi kognitif yang didefinisikan melalui dan oleh tubuh: Pengetahuan itu ada di dunia alam badan. Hal ini berarti bahwa kita menggunakan tubuh kita dan lingkungan fisik kita untuk menurunkan informasi dan penyimpanan. Koginitif juga berarti bahwa pikiran kita dibentuk oleh interaksi kita, tidak hanya melalui apa yang ada di dalam badan kita (Kita akan lebih ramah ketika memegang cangkir hangat daripada cangkir dingin). Tubuh kita membentuk cara kita belajar. Lihatlah kerucut pengalaman Edgar Dale (1900’s). Sungguh aneh bahwa sistem pendidikan kita berdasarkan atap/ujung kerucut? Bagaimana kemudian caranya agar kita bisa mencapai lebih dari ini?


Pernah Dengar Sekolah Montessori?

pembelajaran langsung

permainan kolaboratif

berdasarkesadaran diri

ruang kelastidak dibagi

berdasarkan usia

Presenter

Presentation Notes

“Anak memiliki hubungan dengan lingkungannya yang berbeda dari orang dewasa … Anak menyerap lingkungan di sekitarnya. Hal-hal yang dilihatnya tidak hanya diingat, namun membentuk bagian pada pikirannya. Anak-anak membentuk persepsi dunia dengan apa yang dilihat dan dikenalnya. ” (Maria Montessori) Montessori adalah metode pendidikan yang didasari pada aktivitas kesadaran diri sendiri, pembelajaran langsung, dan permainan kolaboratif. Selain itu, anak-anak didorong membuat pilihan kreatif dalam pembelajaran mereka, sementara para guru menawarkan kegiatan yang sesuai dalam memandu prosesnya. Pada sekolah yang menggunakan metode Montessori, ruang kelas tidak dibagi berdasarkan usia, melainkan semua usia dicampur menjadi satu kelas. Anak yang lebih muda dapat belajar dan berinteraksi dengan anak yang usia di atasnya, sedangkan anak yang lebih tua dapat mengembangkan kemampuannya untuk mengajarkan pengetahuannya kepada anak yang berada dibawahnya. Mirip seperti konsep saling membantu (menaikkan level, push rank, GB) di game. Metode Montessori memberi pemahaman dari hal konkret ke abstrak. Contohnya adalah pengenalan mana yang lebih besar antara angka 1 dan 3 dengan menggunakan stik kayu yang kemudian dipegangkan ke anak didik. Membawa teknologi XR ke pendidikan anak dapat secara eksponensial meningkatkan kemampuan belajarnya. Namun demikian ini tidak hanya terbatas pada anak. Banyak riset menunjukkan jika kita berinteraksi, kita dapat meraih 40 sampai dengan 60 persen informasi. Kita belajar lebih cepat dan itu tidak bisa terjadi jika kita hanya melihat ke realitas, video contohnya. Melalui interaksi, kita mendapatkan peningkatan masif pada jumlah dan kecepatan yang lebih baik. Saya ingin bertanya kepada Anda? Apa yang biasanya Anda lakukan jika Anda ingin belajar tentang cara memperbaiki AC? Cara memperbaiki benda rusak, dsb?

Paradigma Belajar Kita Masih Belum Banyak Berubah

Presenter

Presentation Notes

Industri percetakan merevolusi akses ke informasi dan pengetahuan. Hal ini sangat kuat. Namun, perantara semacam ini memperkuat kita dan secara bersamaan memperlemah kita. Kita masih bekerja dengan paradigma berbasis cetak seperti ini sampai saat ini. Hal ini sangatlah indah, tetapi paradigma ini menurunkan kita kepada pemahaman dunia yang terkotak-kotak. Badan kita telah dilengkapi dengan evolusi untuk memasukakalkan informasi dan pengetahuan melalui berjuta cara. Kita masih belum memanfaatkan mayoritas dari cara ini.


Ada Banyak Cara Memahami Musik


Belajar Keamanan Jaringan Lewat Permainan

Presenter

Presentation Notes

Ini adalah contoh pembelajaran melalui gamifikasi. Pembelajaran tentang keamanan jaringan digamifikasi dan menjadi sebuah eksperimen spasial. Para pakar keamanan jaringan bisa menavigasikan seluruh infrastruktur sebagai sebuah gim atau permainan. Sumber: ProtectWise

Domain RisetRealitas XRiset dan pengajaran menyangkut realitas mencakupi aspek:

(1) Dunia, (2) Interaksi, (3) Timbal balik sensorik, dan (4) Imersi & presensi

Realitas

Dunia

Interaksi

Timbal balik

sensorik

Imersi & Presensi

Presenter

Presentation Notes



Imersi

adalah sebuah sensasi seakan kita berada di lingkungan yang lainnya

Imersi Mental• Sinetron, drama, game atau bacaan novel

bisa mengimersi kita juga• Sebuah keadaan seakan terikat lebih dalam

Imersi Fisik• Tubuh kita seakan masuk ke dalam sebuah

medium baru dimana panca indera kita dirangsang melalui penggunaan teknologi


Imersi vs. PresensiImersimenjelaskan sebuah derajat dimana teknologi mampu menyajikan ilusi yang jelas dan mendalam akan realita yang dialami oleh indra pengguna

Presensimenjelaskan sebuah status kesadaran psikologis bahwa pengguna sedang mengindra sensasi berada di lingkungan virtual

Jadi imersi, berdasarkan definisi teknisnya, mampu menghasilkan sebuah sensasi presensi (kehadiran).


VR = Visual ✔ + Pengalaman ✔

Pengembangan konten media pembelajaran menggunakan VR tidak cukup hanya memperhatikan aspek visual, tapi juga perlu

memperhatikan aspek pengalaman agar dapat mengoptimalkan keterikatan, imersi, dan presensi para pengguna.

Salah satu hal yang bisa dilakukan adalah penerapan desain game.


Desain Game

Keluaran yang Terukur

Sumber Daya

Para Pengguna

Ruang Game


Proses vs. Game

Kondisi-kondisi Awal Target Tujuan

RUANGTANTANGAN


Proses

Kondisi-kondisi awal Tujuan yang jelasdan tidak ambigu

RUANGTANTANGAN PROSES

Proses Bisnis

rangkaian langkah,sebab dan akibat


Game

Kondisi-kondisi awal Tujuan yang kabur

RUANG TANTANGAN GAME

rangkaiankeputusan dan kontrol


Komponen-komponen Dasar dalam VêŦ ę

• dunia mental alternatif, peraturan, kebersediaan, berhentinya realitas kehidupan normal

Ruang Game

• waktu, ruang nyata/virtual, aturan keluar masuk

Batasan-batasan

• ada paksaan, tidak boleh curang

Aturan Interaksi

• sesuatu untuk diobservasi: status pemain, skor game

Artefak

• disepakati oleh semua; kapan game berakhir?

Tujuan

ITS’s ShowcaseDi ITS sendiri, ada banyak penelitian dan

tugas akhir mahasiswa terkait pemanfaatanteknologi XR, terutama dalam dunia pendidikan.

Selain itu, kami mencoba berinovasi untuk memanfaatkan gim sebagai dunia virtual untuk

keperluan wisuda dan orientasi mahasiswa

No Judul

1 Aplikasi Promosi Pariwisata Indonesia iARTour

2 Aplikasi Simulasi Virtual Sasando dengan Leap Motion Controller

3 Aplikasi Simulasi untuk mengatur ruangan dengan teknologi Mixed Reality

4 Aplikasi Simulasi Pengamatan Rasi Bintang dengan Google Cardboard

5 Aplikasi dengan Perangkat Leap Motion Controller untuk Terapi Pasca Stroke

6 Game Simulasi Haji

7 Terapi Claustrophobia dengan Leap Motion Controller

8 Aplikasi VR: Simulasi Menyalip Mobil

9 Aplikasi Simulasi E-Commerce dengan menggunakan teknologi VR

10 Aplikasi Terapi Pasca Stroke Untuk Latihan Gerak Fungsional Tangan Dengan Menggunakan Leap Motion Controller

11 Battle Game Realitas Virtual untuk Edukasi Matematika pada Perangkat Bergerak Berbasis Android

12 Rancang Bangun Aplikasi Terapi Stroke untuk Pasien Pasca Stroke dalam Tahap Mobilisasi Menggunakan Microsoft Kinect

Sumber: Laboratorium GIGa, Departemen Teknik Informatika,Fakultas Teknologi Elektro dan Informatika Cerdas

No Judul

13Metode Pembelajaran Bangun Ruang dengan Aplikasi AUGGO Menggunakan Teknologi Augmented Reality untuk SiswaSekolah Dasar

14 Evaluasi Aspek Psikomotorik Siswa SD pada Bangun Datar dan Ruang Menggunakan Leap Motion dan Oculust Rift

15 Rancang Bangun Game Perhitungan Matematika dengan Menggunakan AR Core

16 Simulasi Evakuasi Bencana Kebakaran pada Jurusan Teknik Informatika ITS Berbasis Teknologi Google Cardboard

17Rancang Bangun Aplikasi Virtual Musical Composer, Sebagai Media Menciptakan Sebuah Lagu Menggunakan Leap Motion Controller

18 Pelatihan Keselamatan Penyeberangan Jalan Berbasis Teknologi Google Cardboard

19Media Pembelajaran Anatomi Tubuh Manusia yang Interaktif untuk Siswa Sekolah Dasar Menggunakan TeknologiAugmented Reality

20 Teknologi Augmented Reality untuk Buku Cerita Anak Dongeng Si Kancil Berbasis Android

Metode Pembelajaran Bangun Ruang dengan Aplikasi AUGGO

Menggunakan Teknologi Augmented Reality untuk Siswa Sekolah Dasar


Aspek Psikomotorik Siswa SD pada Bangun Datar dan Ruang Menggunakan Leap Motion dan Oculust Rift

Minecraft ITS

Minecraft ITS


Museum Virtual Kemerdekaan


Taman MiniBelajar Virtual


Realitas X (XR) untuk Pembelajaran Matematika

Presenter

Presentation Notes

Realitas X dan Revitalisasi Dunia Pendidikan (Pasca Pandemi)


Terima Kasih

@hadziq @hadziq @fabroyir @fabroyir

[email protected]

Documents

SELAMAT DATANG - FKIP UNISMA