Masjid Sultan Idris Shah II telah dirasmikan pada 15 September 1978 oleh Sultan ldris Iskandar Shah II (1963-1984), Sultan yang ke-54, sempena dengan perayaan ulang tahun hari keputeraan baginda yang ke-54. Ianya terletak di atas sebidang tanah seluas kira-kira 2.6 hektar di tengah- tengah bandaraya Ipoh. Kerja-kerja pembinaan masjid tersebut telah dimulakan pada 16 Mei 1966, dan batu asas telah diletakkan pada 27 Oktober 1967 oleh (Allahyarham) Tun Haji Abdul Razak, pada ketika itu menjadi Timbalan Perdana Menteri. Masjid ini telah siap dibina pada 26 Ogos 1968.

Pada mulanya, masjid ini dinamakan sebagai 'Masjid Negeri (Perak)' dan telah digelarkan 'Masjid Sultan Idris Shah II' sempena nama Sultan Idris Iskandar Shah II yang telah kembali ke Rahmatullah pada tahun 1984.

Idea pembinaan masjid ini berasal daripada (Allahyarham) Orang Kaya-Kaya Panglima Bukit Gantang Seri Amar Diraja Abdul Wahab pada tahun 1951. Beliau yang pada ketika itu adalah Menteri Besar telah sedar bahawa masjid-masjid yang sedia ada di lpoh tidak mencukupi untuk memuatkan semua jemaah yang menunaikan ibadah pada satu-satu masa seperti hari kebesaran Islam dan ibadah sembahyang Jumaat. Jumlah kos perbelanjaan pembinaannya ialah RM1,840,000.00