Pulau Baker ditemui ada tahun 1818 oleh kapten kapal pemburu paus Equator Elisha Folger dari Nantucket, Massachussets, A.S. dan diberi nama "Nantucket Baru" (New Nantucket). Pada bulan Ogos 1825, pulau ini di"temui" semula oleh Kapten Obed Starbuck yang juga merupakan kapten kapal pemburu paus Loper dari Nantucket. Nama Pulau Baker diambil dari Michael Baker yang mengunjungi pulau tersebut tahun 1834.[1]

Amerika Syarikat mengambil kepemilikan pulau ini pada 1857, dinyatakan di bawah Guano Islands Akta 1856. Deposit pupuk tahi kelelawarnya (guano) ditambang perusahaan Amerika Syarikat dan Inggeris selama separuh kedua abad 19. Pada 1935, percubaan kehidupan kolonisasi singkat dimulai di pulau ini, dengan penduduk di 4 permukiman Meyerton – seperti tetangganya Pulau Howland - namun kekacauan kerana Perabg Dunia II dan kemudian ditinggalkan. Kucing Feral dibasmi dari pulau ini pada 1964.

Penduduk awam AS mengungsi pada 1942 setelah AU dan AL Jepun menyerang selama Perang Dunia II; diduduki tentera AS selama PD II, namun ditinggalkan setelah perang; orang masuk dengan izin penggunaan khusus dari Perkhidmatan Perikanan dan Hidupan Liar AS hanya dan umumnya dibatasi buat ahli sains dan penyelidik; pemakaman dan sisa bangunan dari pemukiman awal terletak dekat tengah pesisir barat; dikunjungi setiap tahun oleh Perkhidmatan Perikanan dan Hidupan Liar AS.