Marschall telah dilahirkan di Augsburg, Kerajaan Beraja Bavaria, pada tahun 1886. Pada tahun 1906 beliau memasuki Kaiserliche Marine sebagai seorang Seekadett. Semasa Perang Dunia I beliau berkhidmat sebagai pegawai pemerhati di atas kapal perang Kronprinz Wilhelm. Pada tahun 1916 beliau mendapat pendidikan sebagai komander U-boot dan menjadi nakhoda kedua-dua kapal selam UC-74 dan UB-105 menjelang akhir peperangan.

Sewaktu di dalam Reichsmarine, Marschall bertugas sepenuhnya sebagai Vermessungsoffizier (pegawai kajian) dan jawatan staf yang berlainan. Pada penghujung tahun 1934 beliau menjadi komander kapal tempur kecil Admiral Scheer. Selaku Konteradmiral pada tahun 1936, beliau menyertai Oberkommando der Marine (OKM, Markas Besar Tentera Laut) dan mengepalai bahagian operasi. Semasa Perang Saudara Sepanyol Marschall memerintah angkatan laut Jerman di luar pantai Sepanyol. Beliau telah dinaikkan pangkat ke Laksamana dan menjadi Flottenchef (Panglima Armada) pada tahun 1939.

Laksamana Marschall, mengibarkan benderanya di kapal tempur Gneisenau, memimpin angkatan laut Jerman yang memintas dan menenggelamkan kruiser bantuan British Rawalpindi pada 23 November 1939, semasa membuat rondaan diluar Kepulauan Faroe.[1] Pada 8 Jun 1940, semasa bahagian akhir Kempen Norway, Marschall dan sebahagian daripada pasukan (kapal berbendera Gneisenau, dan kapal kembarnya Scharnhorst) bertembung dengan kapal pengangkut pesawat Glorious dan dua kapal pembinasa (Acasta dan Ardent) British kira-kira 280 batu dari barat Harstad, Norway. Dalam pertempuran selama dua jam, Glorious dan kedua-dua pembinasanya tenggelam, manakala Scharnhorst mengalami kerosakan (ditembak oleh salah satu torpedo Acasta). Walaupun pertempuran ini dimenangi pihak Jerman, pertembungan Marschall dengan Glorious telah mengingkari arahan untuk mengelakkan pertempuran. Perselisihan Marschall dengan OKM mengenai perkara ini, dan kerosakan teruk kepada Scharnhorst semasa pertarungan itu, menyebabkan Marschall digantikan selaku Flottenchef oleh Laksamana Günther Lütjens. Marschall mengetuai pemeriksaan pendidikan tentera laut selama dua tahun bermula pada musim panas tahun 1940.

Pada tahun 1942 Marschall telah dinamakan Laksamana Pemerintah Pentadbiran Tentera di Perancis dan menggantikan Alfred Saalwächter sebagai Panglima Marinegruppenkommando West (Markas Kumpulan Tentera Laut Barat). Pada 1 Februari 1943 beliau dinaikkan pangkat ke Generaladmiral, tetapi telah digantikan sebagai Panglima Tentera Laut Barat oleh Theodor Krancke dan dinyahaktif kemudian pada musim bunga tahun itu.

Untuk baki peperangan, Marschall telah diaktifkan semula sebanyak dua kali, pertama sebagai Sonderbevollmächtigter (wakil khas) bagi Danube, dan kedua sebagai Panglima Marineoberkommando West (Markas Besar Tentera Laut Barat) sejurus sebelum perang berakhir. Dari tahun 1945–47 beliau ditahan sebagai tawanan perang.

Marschall meninggal dunia di Mölln, Jerman Barat, pada tahun 1976.