Pada tahun 495 SM, dinasti Wu mengasaskan Yecheng (冶城) pada masa sekarang kawasan bandar Nanjing.

Dinasti Yue menakluk Wu dan menubuhkan Yuecheng 越城 pada 473 SM.

Dinasti Chu menubuhkan Jīnlíng (金陵) di kawasan ini pada 333 SM.

Bandar ini telah dimusnahkan dan dibangunkan beberapa kali.

Sekurang-kurangnya tiga buah bandar telah dibina: Jiànkāng (建康) pada 229 AD (dimusnahkan sepenuhnya pada 589 AD dan menjadi kawasan perladangan), Jinling dibina kemudian pada 914, dan ibu kota awal Ming, Nánjīng dibina dalam tahun 1366.

Nanjing juga merupakan ibu kota Pemberontakan Taiping pada pertengahan kurun 19.

Pada tahun 1928, setelah permulaan Ekspedisi Utara, kerajaan Kuomintang di bawah pimpinan Chiang Kai-shek menjadikan Nanjing sebagai ibu kota untuk menentang cabaran daripada kerajaan ketua-ketua perang yang menguasai Beijing dan kerajaan alternatif pimpinan Wang Jingwei di Wuhan. Setelah kejayaan Ekspedisi Utara pada tahun 1931, Kerajaan Chiang menjadi kerajaan Negara China tunggal yang sah.

Pada tahun 1937, Nanjing diduduki tentera Jepun, dan melakukan pembunuhan beramai-ramai para penduduk bandar, orang pelarian dan tahanan perang. Kejadian ini dikenali sebagai Pembunuhan beramai-ramai Nanjing. Kerajaan Chiang terpaksa dipindahkan ke Chongqing, dan Jepun menubuhkan kerajaan boneka di Nanjing di bawah pimpinan Wang Jingwei. Selepas tamatnya Perang Dunia II, Nanjing sekali lagi dipilih sebagai ibu kota Republik China. Pada tahun 1949, setelah kemenangan Komunis, Beijing dipilih sebagai ibu kota Republik Rakyat China. Nanjing terus diakui sebagai "ibu kota" Republik China yang berada di Taiwan sementara Taipei adalah ibu kota sementara.