Hollidt menyertai Tentera Darat Jerman pada 19 Julai 1909. Semasa Perang Dunia I, Hollidt berkhidmat di Perbatasan Barat dan telah dikurniakan pingat Iron Cross Kelas 2 dan Kelas 1. Beliau kekal dalam Reichswehr (angkatan tentera Republik Weimar). Dari Mac 1935, beliau berkhidmat dalam Staf Am dan menjadi Ketua Staf Kor I dalam Wehrmacht pada Oktober 1935.

Pada permulaan Perang Dunia II, Hollidt bertugas sebagai Panglima Divisyen Ke-52 Infantri. Dari 1 November 1939, beliau bertugas sebagai Ketua Staf kepada Panglima Besar Timur, Jeneral Johannes Blaskowitz. Dari Oktober 1940 beliau berkhidmat sebagai Panglima Divisyen Ke-50 Infantri di Greece. Dinaikkan pangkat ke General der Infanterie pada Februari 1942, Hollidt diberi memerintah Kor XVII, yang telah dirancang untuk mengambil bahagian dalam Operasi Winter Storm, satu cubaan untuk menyelamatkan Tentera Darat Ke-6 yang terkepung di Stalingrad. Selepas Tentera Darat Ke-6 menyerahkalah, ia telah ditubuhkan semula pada Mac 1943 dan Hollidt menjadi Panglimanya. Beliau telah dinaikkan pangkat ke Generaloberst (Kolonel Jeneral) pada 1 September 1943. Pada tahun 1944, Tentera Darat Ke-6nya mengalami kekalahan teruk semasa berundur dari Sungai Dnieper. Hollidt telah dipecat dari jawatannya dan diletakkan dalam pasukan simpanan.