Dilahirkan di Soochow China, kepada ibubapa yang bekerja sebagai akrobat, Chan atau nama penuhnya, Chan Wai Chang, tiba di Kuala Lumpur dengan ibu angkatnya pada tahun 1931. Umurnya pada masa itu kira-kira enam tahun. Beliau memulakan persekolahannya ketika berumur 12 tahun. Walaupun umurnya masih mentah, beliau telah menunjukkan keupayaannya berniaga dengan mendapat keuntungan melalui pengambilan gambar untuk rakan-rakan sedarjah. Beliau menjual setiap gambar dengan harga 15 sen, dan mendapat untung sebanyak 10 sen. Apabila sekolahnya membuat aduan bertulis atas kelewatan Chan ke sekolah kerana sering mengutip gambar dari kedai, ibu angkatnya mengambil keputusan memberhentikannya dari bersekolah. Atas sebab itu, beliau cuma sempat bersekolah selama lapan bulan sahaja.

Selepas tercicir dalam pelajarannya, beliau mula bekerja disebuah kedai yang membuat butang daripada kulit kelapa, dan dibayar upah sebanyak enam gantang beras dan sebuku roti jagung sebulan. Bagi setiap seribu butang yang dibuatnya, beliau juga mendapat 12 sen. Dalam masa sehari, beliau dapat mengeluarkan beberapa ribu butang dengan penggunaan mesin. Kemudian, beliau bekerja dikedai membuat kelambu, yang mana beliau dibayar dengan upah yang lebih lumayan, iaitu lapan gantang beras, enam kati gula, dua botol minyak masak, dan sebuku roti jagung sebulan.

Pada tahun 1941, semasa berumur 16 tahun, ibu angkat beliau menguruskan perkahwinannya dengan seorang kontraktor pelabuhan berbangsa Cina di Singapura sebagai isteri yang keempat. Pada masa itu, Chan sudah mempunyai seorang teman lelaki, akan tetapi lelaki itu miskin dan tidak mampu membayar mas kahwin yang diharuskan oleh ibu angkat Chan. Kontraktor tersebut menawarkan ibu angkat Chan wang sebanyak SGD$3,000, sepasang anting-anting intan, sebiji loket dan seutas gelang.

Malangnya, perkahwinan Chan tidak berkekalan kerana ibu angkatnya sering meminta wang sebanyak SGD$1,000-$2,000 setiap kali. Kekecewaan yang dialami oleh suaminya menyebabkannya menghantar Chan balik ke Kuala Lumpur. Suaminya memberi elaun bulanan sebanyak SGD$600, dengan syarat bahawa ibu angkatnya mesti menggajikan seorang pembantu rumah untuk menjalankan tugas-tugas rumahtangga. Akan tetapi ibu Chan tidak berbuat demikian, dan semasa suami Chan singgah di Kuala Lumpur dalam perjalanannya ke Pulau Pinang untuk menonton perlumbaan kuda, dia terlihat Chan membuat tugas rumahtangga dan berasa sungguh marah. Bermula dari sebab itu, suaminya memberhentikan elaun bulanan Chan dan enggan berjumpa lagi dengannya.