Fudge pada mulanya bersikap baik kepada Harry. Kemudian, Fudge menafikan bahawa Lord Voldemort telah kembali, dan dalam Harry Potter dalam Kumpulan Phoenix, Fudge melakukan kempen dan propaganda untuk menjatuhkan Harry dan Albus Dumbledore, menggambarkan Dumbledore sebagai orang tua yang sudah nyanyuk, dan Harry sebagai seorang remaja yang pembohong, yang jiwanya terganggu, dan inginkan perhatian. Sebelum itu, sebagai Menteri Sihir, Fudge juga bertanggungjawab dalam memenjarakan Rubeus Hagrid yang tidak bersalah di Azkaban. Permusuhannya dengan Harry dan Dumbledore terjadi disebabkan alasan politik. Beliau menolak untuk membuat huru-hara dan menimbulkan panik di kalangan dunia sihir yang sudah 14 tahun berada dalam keadaan aman, dengan menghilangnya Voldemort. Kemudian, beliau juga bimbang (tanpa alasan) dan curiga bahwa Dumbledore sedang membina angkatan tentera di kalangan pelajarnya sendiri untuk merebut jawatan Fudge sebagai Menteri Sihir.

Jabatan Fudge berakhir pada 1996, segera setelah Pertempuran di Kementerian Sihir, yang beliau dan beberapa pegawai Kementerian Sihir melihat sendiri kemunculan Voldemort di Atrium Kementerian. Fudge terpaksa menerima kebenaran yang selama ini ditolaknya, dan atas tekanan besar dari orang dan pihak media, Jabatan Misteri dipaksa mundur dari jawatannya seminggu setelah kejadian tersebut. Beliau digantikan oleh Rufus Scrimgeour, bekas Ketua Pejabat Auror di Jabatan Penguatkuasaan Undang-undang Sihir, dan Fudge tetap menjawat di Kementerian Sihir sebagai Penasihat Khas[HP6].