Spencer telah ditemui pada tahun 1820, dan dinamakan kapten Spier Spencer, yang maut ketika Pertempuran Tippecanoe, asal nama Spencer County.[8] Sebuah pejabat pos telah beroperasi di Spencer sejak tahun 1821.[9]

The Allison-Robinson House, David Enoch Beem House, Gedung Pengadilan Owen County, Perpustakaan Awam Spencer, dan Balai Bandar dan Balai Bomba Spencer disenaraikan di Daftar Negara Tempat Bersejarah.[10]

Festival Spencer Pride tahunan berlangsung di pusat bandar Spencer. Acara ini, yang dimulai pada tahun 2007, telah mendapat pujian antarabangsa untuk suasana yang inklusif dan mesra keluarga dalam masyarakat luar bandar. Acara di pusat bandar lain termasuk Krismas di Dataran dan Festival Muzik Kristian Rev20.

Spencer, Indiana adalah komuniti terkecil di Amerika dengan pusat LGBTQ+ khusus. Pusat komuniti Spencer Pride dibuka pada tahun 2006 dan terletak di dataran pusat di bangunan IORM 1898.