Pulau Weh terletak di Laut Andaman, yakni di kawasan 2 kelompok kepulauan, iaitu Kepulauan Nicobar dan Kepulauan Andaman, tersebar dalam satu garis dari Sumatera sampai plat Burma. Laut Andaman terletak di plat tektonik kecil yang aktif. Sistem sesar yang kompleks dan kepulauan lengkok berapi telah terbentuk di sepanjang laut oleh pergerakan plat tektonik.[2]

Pulau ini terbentang sepanjang 15 kilometer (10 batu) di hujung paling utara dari Sumatera. Pulau ini hanya pulau kecil dengan keluasan 156,3 km ², tetapi mempunyai banyak banjaran pergunungan. Puncak tertinggi pulau ini adalah sebuah gunung berapi fumarolik dengan ketinggian 617 meter (2024 kaki). [1] Letupan terakhir gunung ini dianggarkan berlaku pada zaman Pleistosen. Akibat daripada letupan ini, sebahagian daripada gunung ini hancur, terisi dengan laut dan terbentuklah pulau yang berasingan.

Di kedalaman sembilan meter (29,5 kaki) dekat dari kota Sabang, fumarol bawah laut muncul dari dasar laut.[3] Kerucut berapi dapat ditemui di hutan. Terdapat 3 daerah: satu terletak 750 meter bahagian tenggara dari puncak dan yang lainnya terletak 5 km dan 11,5 km bahagian barat laut dari puncak di pantai barat teluk Lhok Perialakot.

Terdapat empat pulau kecil yang mengelilingi Pulau Weh: klah, Rubiah, Seulako, dan Rondo. Di antara keempatnya, Rubiah terkenal sebagai tempat pelancongan menyelam skuba kerana keunikan terumbu karangnya. Rubiah menjadi tempat persinggahan umat Muslim Indonesia yang melaksanakan Haji laut sebelum pergi dan balik dari Makkah.[4]