Paksi terpanjang pulau Sumatera mencapai lebih kurang 1,790 km (1.110 batu), membentang dari arah barat laut menuju ke arah tenggara dan melintasi khatulistiwa dekat bahagian tengah pulau. Pulau ini membentang 435 km (270 batu) pada bahagian terlebarnya. Dua kawasan geografi mendominasi bahagian dalam pulau ini, iaitu Banjaran Bukit Barisan di sebelah barat dan dataran berawa di sebelah timur.

Pulau ini bersempadan di sebelah tenggara dengan Jawa, dipisahkan oleh Selat Sunda. Di sebelah utara ia bersempadan dengan Semenanjung Tanah Melayu, dipisahkan oleh Selat Melaka, sedangkan ke arah timur berhadapan dengan Kalimantan, melintasi Selat Karimata. Pada bahagian barat pulau ini terbentang Lautan Hindi.

Banjaran Bukit Barisan menyebar dari hujung ke hujung pulau, dengan titik tertinggi setinggi 3,805 meter (12,467 kaki) berada pada Gunung Kerinci, iaitu sebuah gunung berapi aktif yang terletak sekitar titik tengah banjaran. Aktiviti pergunungan berapi ini menganugerahkan kawasan tanah subur dan pemandangan yang indah, misalnya di sekitar Danau Toba. Hal ini juga mengandungi mendapan arang batu dan emas. Pulau Sumatera berada pada Lingkaran api Pasifik yang juga merupakan alasan mengapa pulau ini telah mengalami beberapa gempa paling kuat yang pernah tercatat, contohnya gempa bumi Sumatera pada bulan September 2007.

Sungai-sungai besar membawa lumpur dari pergunungan ke arah timur pulau ini, membentuk dataran rendah yang luas diselingi oleh paya. Bahkan jika kebanyakan dataran tidak sesuai untuk pertanian, kawasan ini saat ini telah menjadi kepentingan ekonomi yang besar bagi Indonesia. Dataran ini menghasilkan minyak baik dari permukaan tanah maupun dari bawahnya, iaitu minyak sawit dan minyak bumi.

Sebahagian besar Sumatera dahulu ditutupi oleh hutan hujan tropika, tetapi pembangunan ekonomi dan pembalakan liar telah sangat mengancam keberadaannya. Daerah-daerah konservasi yang ada walau bagaimanapun telah terpengaruh juga.