Hanya sebilangan kecil Muslim yang menetap di Jerman menjadi ahli pertubuhan-pertubuhan agama. Yang mempunyai bilangan tertinggi adalah:

• Diyanet İşleri Türk İslam Birliği (DİTİB): Cabang Jerman Pengerusian Turki untuk Hal Ehwal Agama, Cologne
• Islamische Gemeinschaft Milli Görüş: berdekatan dengan Islamist Saadet Partisi di Turkey, Kerpen near Cologne
• Islamische Gemeinschaft Jamaat un-Nur: Cabang Jerman Masyarakat Risale-i Nur (Said Nursi)
• Verband der islamischen Kulturzentren: Cabang Jerman mahzab konservatif Süleymancı di Turki, Cologne
• Islamische Gemeinschaft in Deutschland pertubuhan Muslim Arab berdekatan dengan Persaudaraan Muslim, Frankfurt
• Verband der Islamischen Gemeinden der Bosniaken: Muslim Bosnia, Kamp-Lintfort dekat Duisburg

Tambahan lagi terdapat pertubuhan-pertubuhan payung berikut:

• Zentralrat der Muslime in Deutschland, didominasikan oleh "Islamische Gemeinschaft in Deutschland" dan "Islamisches Zentrum Aachen"
• Islamrat in Deutschland, didominasikan oleh Islamische Gemeinschaft Milli Görüş dan sub-pertubuhannya.

Selain itu terdapat pelbagai pertubuhan setempat yang tidak berkait dengan mana-mana pertubuhan di atas. Dua pertubuhan telah dilarang pada 2002 kerana rancangan mereka dianggap melanggar perlembagan: "Hizbut Tahrir" dan juga "Caliphate State (Negara Khalifah)" yang diasaskan Cemalettin Kaplan.