Sejak zaman kuno lagi, bahasa Cina sentiasa terdiri daripada pelbagai dialek; maka sering perlunya dialek berprestij dan lingua franca. Sebagai contoh, Confucius lebih gemar menggunakan yǎyán (雅言, bermaksud "pertuturan beradab") berbanding dialek setempat dan catatan Dinasti Han juga merujuk kepada tōngyǔ (通语, "bahasa am"). Buku rima yang dicatat sejak Dinasti Selatan dan Utara mungkin juga mencerminkan satu atau lebih daripada satu sistem sebutan baku ketika itu. Namun, kesemua dialek piawai ini barangkalinya tidak dikenali di kalangan orang bukan elit berpendidikan tinggi. Tambahan pula, sebutan mungkin amat berbeza kerana faktor penyatuan semua dialek Cina, bahasa Cina Klasik, merupakan piawaian bahasa bertulis bukan bahasa ditutur.

Dinasti Ming (1368 - 1644) dan Dinasti Qing (1644 - 1912) mula menggunakan istilah guānhuà (官话, "pertuturan rasmi"), untuk merujuk kepada pertuturan yang digunakan dalam istana. Istilah "Mandarin" berasal daripada orang Portugis. Perkataan mandarin mula-mulanya digunakan untuk merujuk kepada pegawai birokrat China (iaitu, mandarins) kerana orang Portugis, akibat tersilap anggap bahawa perkataan bahasa Sanskrit (mantri atau mentri) yang digunakan di seluruh Asia untuk merujuk kepada "pegawai" mempunyai kaitan dengan perkataan bahasa Portugis mandar (mengarah seseorang untuk melakukan sesuatu), lalu memerhati bahawa pegawai Cina semuanya "mengeluarkan arahan", maka tergelarlah mandarins. Oleh itu, orang Portugis dengan serta-merta mula menggelar bahasa khusus yang ditutur antara pegawai-pegawai China (iaitu, "Guanhua") "bahasa orang mandarin", "bahasa mandarin" atau "Mandarin". Kenyataan bahawa Guanhua merupakan bahasa buatan dalam beberapa aspek, berdasarkan satu set kelaziman (iaitu, famili bahasa Cina Utara bagi tatabahasa dan pengertian, serta sebutan terperinci setempat Istana bagi penggunaannya), adalah faktor utama yang menjadikannya istilah sesuai untuk bahasa Cina Baku Moden.

Adalah kelihatan bahawa ketika tahun-tahun awal tempoh tersebut, bahasa bakunya berdasarkan dialek Nanjing, namun lama-kelamaan dialek Beijing makin berpengaruh, meskipun para pegawai dan rakyat biasa mencampuradukkan dialek-dialek dalam ibu negara, Beijing. Pada abad ke-17, Empayar China menubuhkan Akademi Ortoepi (正音书院, Zhèngyīn Shūyuàn) dalam percubaan memastikan sebutan menuruti piawaian Beijing. Namun, cubaan ini tidak banyak berjaya. Pada abad ke-19 Maharaja mengalami kesulitan dalam memahami beberapa menteri bangina sendiri dalam istana, kerana pegawai tersebut tidak sentiasa cuba menuruti mana-mana sebutan baku. Akhirnya, pada 1909, Dinasti Qing yang berada di ambang kejatuhan telah menubuhkan dialek Beijing sebagai guóyǔ (国语), atau "bahasa kebangsaan".

Setelah Republik China ditubuhkan pada 1912, usaha meluaskan satu bahasa kebangsaan yang umum makin berhasil. Satu Suruhanjaya bagi Penyatuan Sebutan berkumpul merangkumi delegasi dari seluruh negara. Mulanya terdapat satu cubaan untuk memperkenalkan sebutan baku dengan unsur dialek setempat, namun ini telah dianggap sebagai terlalu sukar untuk dipromosikan, maka pada 1924 cubaan ini dihentikan dan dialek Beijing dijadikan sumber utama sebutan nasional baku kerana status dialek ini sebagai dialek berprestij sejak Dinasti Qing. Unsur-unsur dari dialek lain masih wujud dlam bahasa baku inu, sebagai pengecualian dari hukum.

republik Rakyat China yang ditubuhkan pada 1949 menyambungkan usaha ini. Pada 1955, guóyǔ dinamakan semula sebagai pǔtōnghuà (普通话), atau "pertuturan umum". (Pertukaran nama ini tidak diiktiraf oleh Republik China yang hanya menaungi Taiwan dan beberapa pulau di sekelilingnya sejak 1949.) Semenjak itu, piawaian yang digunakan di tanah besar China dan Taiwan amat ketara jurangnya.

Setelah penyatuan semula Hong Kong dan Makau dengan Republik Rakyat China , istilah pǔtōnghuà digunakan dalam Kawasan Pentadbiran Khas Republik Rakyat China, dan sistem pinyin juga dipakai secara meluas.

Di tanah besar China dan juga Taiwan, penggunaan bahasa Mandarin baku sebagai bahasa pengantaraan dalam sistem pendidikan dan dalam media banyak menyumbang kepada penyebaran bahasa Mandarin baku. Kesannya, bahasa Mandarin baku kini fasih ditutur oleh kebanyakan orang di tanah besar China dan Taiwan. Namun di Hong Kong, atas sebab sejarah dan linguistik, bahasa pendidikan serta kedua-dua pertuturan rasmi dan tidak rasmi masihlah bahasa Kantonis namun bahasa Mandarin baku makin berpengaruh.