Satu Program Penyelidikan dan Dokumentasi telah dirancang oleh pengarah pertama institut ini, Profesor Dr Syed Muhammad Naquib al-Attas dan atas inisatif beliau inilah yang telah mendorong wujudnya perpustakaan dengan tujuan untuk mengumpul segala bahan-bahan berkaitan tamadun dan dunia Melayu. Seorang pustakawan telah dilantik pada tahun 1974 untuk membantu pencarian bahan-bahan yang dapat dijadikan bahan pengajaran dan pembelajaran di institut ini.

Pada awalnya sebanyak 30,000 naskhah buku telah diperoleh termasuk Koleksi Nadir sehinggalah tahun 1979. Bubu-buku berkaitan pengajian Melayu telah dibeli dari dalam dan luar Negara. Pada tahun 1982 pentadbiran perpustakaan cabang IBKKM ini telah diletakkan di bawah Perpustakaan Tun Seri Lanang. Sebanyak 12,000 naskhah daripada koleksi dipindahkan ke Perpustakaan Alam dan Tamadun Melayu.