Kabupaten ini disempadani oleh:

• Kabupaten Magelang (Jawa Tengah) di utara;
• Kabupaten Klaten, dan Kabupaten Boyolali (Jawa Tengah) di timur;
• Kabupaten Gunung Kidul, Kabupaten Bantul, dan Kota Yogyakarta di selatan; serta
• Kabupaten Kulon Progo dan Kabupaten Magelang di barat.

Bahagian utara kabupaten ini merupakan kawasan pergunungan, dengan puncaknya di Gunung Merapi yang menyempadani Jawa Tengah. Gunung Merapi ialah salah satu gunung berapi yang aktif dan yang paling berbahaya di Pulau Jawa. Sebaliknya, bahagian selatan kabupaten ini merupakan dataran rendah yang subur. Sungai-sungai besar yang melintasi kabupaten ini termasuk Kali Progo (membatasi kabupaten Sleman dengan Kabupaten Kulon Progo), Kali Code, dan Kali Tapus.