Terdapat percangahan pendapat mengenai permulaan penggunaan huruf Cina di Jepun, namun pakar bahasa bersepakat menerima pendapat bahawa sami Buddha membawa tulisan Cina ke Jepun sekitar abad ke-5, dan ia dibaca dalam bahasa Cina. Secara beransur-ansur, sistem yang dikenali sebagai kanbun (漢文) muncul: ini merupakan teks Cina dengan tanda diakritik untuk membenarkan penutur bahasa Jepun membacanya menurut peraturan tatabahasa Jepun.

Bahasa Jepun itu sendiri tidak mempunyai bentuk tulisan. Akhirnya sistem tulisan yang dikenali sebagai manyogana (digunakan dalam antologi sastera silam Manyoshu) berubah yang menggunakan bentuk set kanji terbatas untuk nilai fonetik sahaja, bukannya untuk nilai semantik, yang diperlukan untuk menulis sastera Jepun. Manyogana yang ditulis dalam gaya sambung menjadi hiragana, sistem tulisan yang digunakan oleh wanita (yang dinafikan pengajian tinggi). Hasil karya kesasteraan wanita era Heian ditulis menggunakan hiragana. Katakana muncul melalui laluan yang sama: pelajar monasteri memudahkan manyogana kepada unsur kandungan konstituen tunggal. Hiragana dan katakana dirujuk bersama sebagai kana.

Apabila sistem penulisan Jepun matang dan berkembang, kanji mula digunakan untuk menulis bahagian pertuturan tertentu seperti kata benda, kata sifat dan kata kerja sementara kana digunakan untuk akhiran kata kerja, perkataan yang hanya terdapat di Jepun dan perkataan asing (sebelum ini perkataan asing dieja secara fonetik dengan huruf Kanji).