儒學最初是從中國和朝鮮傳入日本的。據日本最早的史書《日本書紀》和《古事紀》記載,約於東漢末年至三國時期(公元3世紀),有朝鮮百濟國博士王仁(可能是中國移民)攜帶《論語》十卷等儒學經典到日本,教太子等人漢文和中國典籍。到了公元5世紀(中國的南北朝時期),中國和朝鮮的五經博士曾赴日本,首先在宮廷中傳播儒學,使其成為日本古代天皇制國家立國的理論基石之一。

公元604年,聖德太子吸收儒學思想而制訂了《十七條憲法》,以作為立國的政治準則和官員的行為準則。日本的學校系統如大學寮、國學和私學,成為日本儒學的傳播體系。中世時隨著禪宗的傳入,宋代新儒學也在日本傳播普及。近世江戶時代(1603-1687年)更是日本儒學的全盛和日本化時代,程朱理學成了官方哲學。

到了近代,朱子學和陽明學對日本幕末維新的日本思想家產生了重大影響。還出現了具有日本特色的儒學學派「古學派」。雖然明治維新後日本向西方學習,但也沒有完全拋棄傳統儒學。澀澤榮一的「論語加算盤」理論,就是改良儒學,推動資本主義近代化的一個成功範例。