Beliau adalah anak tertua daripada empat anak James Earl Sr. dan Lilian Carter. Dikenali dengan nama "Jimmy" saja, sejak masa remajanya, beliau dibesarkan dalam masyarakat luar bandar yang kecil yang dihuni keluarga Carter selama lima keturunan dan ayahnya memiliki kedai kecil.

Diilhamkan oleh kekaguman ayahnya terhadap tentera, salah satu cita-cita Jimmy Carter yang pertama ialah memasuki Akademi Angkatan Laut A.S di Annapolis.

Setelah belajar setahun di tahap persediaan Universiti Teknik Georgia, beliau mencapai cita-citanya dan memasuki Akademi itu sebagai seorang siswa yang dicalonkan oleh kongres pada 1943.

Pada tahun 1946, Jimmy Carter berkahwin dengan Rosalynn yang juga berasal dari Georgia dan mempunyai empat anak, tiga orang lelaki dan seorang perempuan.

Setahun setelah Perang Dunia Kedua berakhir, beliau lulus dari Akademi dan menjalani latihan ketenteraan aktif pada armada kapal selam. Pada 1952, Jimmy Carter bertugas dengan program kapal selam nuklear di bawah pimpinan Laksamana Hyman Rickover. Selama tahun berikutnya, beliau sibuk dalam pengajian lanjutan tentang hal-hal seperti fizik nuklear dan program nuklear. Pada waktu itu, Angkatan Laut telah mencalonkannya sebagai perwira mesin yang akan ditempatkan di dalam kapal selam nuklear Amerika yang kedua.

Namun, pada 1953, terjadilah musibah keluarga dan kematian ayahnya. Jimmy Carter kembali ke Georgia untuk mengurus perusahaan kacang keluarganya.

Pada 1962, beliau tampil kembali di tengah-tengah masyarakat. Ketika itu, adiknya Billy mengambil alih pengurusan perusahaan keluarga. Beliau mendapat kedudukan sebagai Senator negeri untuk badan perundangan Georgia. Setelah menduduki dua kali jawatan di senat negeri, beliau memutuskan untuk turut merebut jawatan Gabenor Georgia, tetapi gagal memperoleh pencalonan daripada partinya.

Selama empat tahun berikutnya, beliau memperluaskan hubungannya di seluruh negeri dan membina persefahaman tentang selok-belok politik negeri. Pada 1970, beliau memenangi pemilihan Gabenor Georgia.

Sebagai Gabenor Georgia, Jimmy Carter memperoleh reputasi sebagai seorang tokoh dari generasi pemimpin yang lebih muda di daerah Selatan yang baru. Dalam pidato perlantikannya sebagai Gabenor, beliau menindas keterikatannya yang teguh dalam keadilan sosial, terutama bagi orang-orang kulit hitam yang miskin di negerinya.

Selama memegang jawatannya sebagai Gabenor, beliau memperluas pandangannya terhadap dunia. Beliau melakukan dua perjalanan penting ke luar negeri, memimpin misi perdagangan negerinya ke Amerika Selatan dan Eropah.

Beliau juga memulakan penglibatannya dalam politik kebangsaan. Pada 1972, beliau berperanan penting dalam Persidangan Gabenor Kebangsaan dan menyampaikan pidato bagi pencalonan Senator Henry Jackson dalam Persidangan Kebangsaan Parti Demokrat pada tahun yang sama.

Pada 1974, setelah masa jawatannya sebagai Gabenor berakhir, Jimmy Carter mengelilingi Amerika Syarikat untuk Parti Demokrat sebagai Ketua Unit Kempen untuk parti.

Beliau membantu parti untuk memperkuat diri dan mengadakan penyusunan semula organisasi, setelah dua kali kalah berturut-turut kepada Parti Republik dalam merebut jabatan Presiden di Rumah Putih.

Pada 1976, atas dasar hubungan yang diadakan secara menyeluruh, Jimmy Carter membina suatu landasan politik yang kukuh untuk memenangi pencalonan dari Parti Demokrat sebagai Presiden.

Setelah memperoleh mandat daripada partinya, dalam pemilihan presiden berikutnya, beliau mengalahkan Presiden Gerald Ford dengan sedikit sahaja beza undian.