遠古日本民族只有口頭語言,沒有文字。在春秋戰國至秦朝時(即公元前3、4世紀),從中國大陸和朝鮮半島到達日本的中國移民,傳入了漢字和漢文,因此日本人最初使用的文字就是漢字。但早期會寫漢字漢文的,主要是中國移民的後裔,還有少數日本貴族、官員和文人,他們把漢字作為東亞的國際通用文字,用來書寫對外文書、公文信件及詩文。

在隋、唐時,不少遣隋使遣唐使、入唐留學生及學問僧,均能精通漢字、漢文、漢詩,甚至漢字書法,如唐朝時曾以其出色的詩文考取了進士的阿倍仲麻呂

為了表達口頭語言,日本人借用了漢字來表達日語的意義或者注日語的發音,這種作為注音符號的漢字,稱為「真名」。到唐朝末年(9世紀末至10世紀初),日本人又對漢字進行省略和草化,創造出一套新的表音系統,這就成為日本文字字母,稱為「假名」。此外,以某些漢字楷書體偏旁構成的字母,叫做「片假名」,而利用某些漢字草書體構成的字母則叫做「平假名」,並把假名文字與漢字混合使用。從此日本才有了自己完整的語言文字體系。直到現在,日文中除了假名文字外,還沿用了國家規定的逾1,000個常用漢字。