Perpustakaan UKM ditubuhkan serentak dengan penubuhan UKM sendiri pada 18 Mei 1970 yang pada masa itu terletak di Lembah Pantai, Kuala Lumpur. Disamping itu, sebuah perpustakaan cabang khusus untuk koleksi Islam di kampus UKM Seksyen 17 Petaling Jaya juga telah diwujudkan dengan mengambil bangunan Kolej Islam Malaya. Pada tahun 1977, sebahagian perkhidmatan perpustakaan telah berpindah ke kampus tetap UKM di Bangi dengan menggunakan aras 5 Bangunan Canselori, UKM sebelum berpindah ke bangunan tetap. Bangunan Perpustakaan di Bangi sekarang mula digunakan pada tahun 1978.