Pada tahun 1964, golongan tentara Indonesia - khususnya perwira dalam Angkatan Darat seperti Let. Kol. Suhardiman dari SOKSI - menghimpunkan berpuluh-puluhan organisasi pemuda, wanita, sarjana, buruh, petani dan nelayan dalam suatu penggabungan menghadapi kekuatan Partai Komunis Indonesia serta pemerintahan langsung Bung Karno sendiri. Gabungan ini diberi nama Sekretariat Bersama Golongan Karya (Sekber Golkar) yang didirikan pada tanggal 20 Oktober 1964 sebagai suatu wadah dari golongan fungsional/golongan karya murni yang tidak berada di bawah pengaruh politik tertentu. Brigadir Jenderal (Brigjen) Djuhartono dipilih sebagai ketua pertama partai ini sebelum jawatan tersebut diambil alih Mayor Jenderal (Mayjen) Suprapto Sukowati lewat Musyawarah Kerja Nasional (Mukernas) I, Desember 1965.

Pada awal pertumbuhannya, Sekber Golkar beranggotakan 61 organisasi fungsional yang kemudian berkembang menjadi 291 organisasi fungsional. Ini terjadi karena adanya kesamaan visi di antara masing-masing anggota. Organisasi-organisasi yang terhimpun ke dalam Sekber Golkar ini kemudian dikelompokkan berdasarkan kekaryaannya ke dalam 7 (tujuh) Kelompok Induk Organisasi (KINO), yaitu:

1. Koperasi Serbaguna Gotong Royong (KOSGORO)
2. Sentral Organisasi Karyawan Swadiri Indonesia (SOKSI)
3. Musyawarah Kekeluargaan Gotong Royong (MKGR)
4. Organisasi Profesi
5. Ormas Pertahanan Keamanan (HANKAM)
6. Gerakan Karya Rakyat Indonesia (GAKARI)
7. Gerakan Pembangunan

Jumlah anggota Sekber Golkar ini bertambah dengan pesat dari 61 organisasi yang asal berkembang hingga mencapai 291 organisasi, hal ini karena golongan fungsional lain yang menjadi anggota Sekber Golkar dalam Front Nasional menyadari bahwa perjuangan dari organisasi fungsional Sekber Golkar adalah untuk menegakkan Pancasila serta Undang-Undang Dasar 1945.

Untuk menghadapi Pemilu 1971, 7 KINO yang merupakan kekuatan inti dari Sekber Golkar tersebut, mengeluarkan keputusan bersama pada tanggal 4 Februari 1970 untuk ikut menjadi peserta Pemilu melalui satu nama dan tanda gambar yaitu Golongan Karya (Golkar). Logo dan nama ini, sejak Pemilu 1971, tetap dipertahankan sampai sekarang. Pada Pemilu 1971 ini, Sekber Golkar ikut serta menjadi salah satu partai calon di mana ia begitu diragui kelompok-kelompok kuat lain yang bertanding dalam Pemilihan Umum ini seperti Nahdlatul Ulama, Partai Nasional Indonesia dan Partai Muslimin Indonesia. Malah, mereka seperti terlalu dialpakan kejayaan masa lampau mahupun tidak menyadari perpecahan dalaman yang menyebabklan pemalingtadahan anggota-anggota ereka sendiri terhadap Golkar. Keputusan pilihan umum ini memihak besar kepada Golkar yang berhasil menang dengan 34,348,673 undian atau 62.79 % dari jumlah perolehan merata seluruh provinsi Indonesia, hal ini berbeda dengan "parpol" kuat di mana ia terlalu bertumpu kepada kawasan kuat mereka sendiri - NU di Jawa Timur dan Kalimantan Selatan, Partai Katholik di Nusa Tenggara Timur, PNI di Jawa Tengah manakala Parmusi di Sumatra Barat dan Aceh. Kelompok Sekber GOLKAR menjenamakan semula diri menjadi Golkar pada tanggal 17 Julai 1971.

Pada September 1973, Golkar menyelenggarakan suatu Musyawarah Nasional (Munas) I di Surabaya di mana May. Jen. Amir Murtono terpilih sebagai Ketua Umum. Golkar mula menyerapkan banyak kesatuan pekerja yang memihak kuat kepadanya seperti Himpunan Kerukunan Tani Indonesia (HKTI), Himpunan Nelayan Seluruh Indonesia (HNSI) dan Federasi Buruh Seluruh Indonesia (FBSI).

Setelah Peristiwa G30S maka Sekber Golkar, dengan dukungan sepenuhnya dari Soeharto sebagai pimpinan militer, melancarkan aksi-aksinya untuk melumpuhkan mula-mula kekuatan PKI, kemudian juga kekuatan Bung Karno.

Setelah Soeharto mengundurkan diri pada 1998, keberadaan Golkar mulai ditentang oleh para aktivis dan mahasiswa.

Peraturan Monoloyalitas

Peraturan Monoloyalitas merupakan kebijakan pemerintahan Orde Baru yang mewajibkan semua pegawai negeri sipil (PNS) untuk menyalurkan aspirasi politiknya kepada Golongan Karya. Setelah Suharto mengundurkan diri pada tanggal 21 Mei 1998, kebijakan ini dicabut. Sekarang pegawai negeri sipil bebas menentukan wadah aspirasi politiknya.