Rouen ialah kota yang diasaskan oleh orang Gaul yang memanggilnya Ratumacos, dengan orang Rom kemudian menamainya semula sebagai Rotomagus. Ia merupakan kota utama Secunda Provincia Lugdunensis di bawah Maharaja Constantine. Pada abad ke-5, Rouen menjadi pusat kawasan biskop dan kemudiannya ibu kota Neustria. Pada abad ke-9, ia ditakluki oleh orang Norman dan sejak dari tahun 912, merupakan ibu kota Normandy serta tempat kediaman para duke.

Pada dekad 1100-an, Rouen menjadi tapak untuk sebuah institusi yeshiva bagi membelajari Torah Yahudi; ketika itu, sekitar 6,000 orang Yahudi tinggal di kota ini dan merupakan 20% daripada jumlah penduduk, selain daripada sebilangan besar orang Yahudi yang terselerak di kira-kira 100 buah komuniti lagi di Normandy. Tinggalan yeshiva yang dikekalkan dengan baik ditemui pada dekad 1970-an di bawah tapak Mahkamah-mahkamah Rouen, dengan komuniti ini kini membaik pulihnya.

Pada 24 Jun 1204, Philippe Auguste memasuki Rouen dan mengilhakkan Normandy untuk Kerajaan Perancis.

Semasa Perang Seratus Tahun pada 19 Januari 1419, Rouen menyerah kalah kepada Henry V dari England yang menjadikan Normandy sebagai sebahagian England. Joan dari Arc dibakar hidup-hidup di pancang di Rouen pada 30 Mei 1431, dan Perancis menawan semula kota ini pada tahun 1449.

Rouen dimusnahkan secara teruk dalam Perang Dunia II pada Hari-D, dan gereja termasyhurnya hampir termusnah oleh pengeboman Pihak Berikat. Semasa pendudukan Nazi, Tentera Laut Jerman bermarkas di sebuah chateau di kampus pusat pengajian perniagaan École Supérieure de Commerce de Rouen.