Dr James dilahirkan pada 13 Mac 1939 di Kampung Karanaan, Tambunan, Sabah. Isterinya Datin Margaret Ganduongdan mempunyai 6 anak iaitu Dr David , Dr Jimmy (James Albert, Jr), Judith, Julia, Paul Martin dan Mark Moses.

Adiknya, Datuk Dr Maximus Ongkili menjadi Menteri di Jabatan Perdana Menteri.

Semasa kecil beliau bersekolah di Sekolah St. Francis Xavier, Keningau .Kemudian menuntut di Sekolah Menengah La Salle Jesselton, Kota Kinabalu. Seterusnya belajar peringkat sarjana muda dan sarjana (MA BA-Hons) Universiti Queensland di Brisbane, Australia. Beliau mendapat Ph.D di Universiti Malaya setelah menulis tesis Nationalisme di Malaysia.

Selepas belajar, Dr James bekerja sebagai pegawai daerah di Kinabatangan dan Keningau pada 1967 dan 1968. Antara Januari 1969 - April 1976 beliau menjadi pensyarah di Universiti Malaya.