相傳在夏代的時候，中國就有了天文臺，那時候把它叫做「清臺」；商代叫做「神臺」；周代叫「靈臺」。從很早以前開始，中國的帝王就認為他們是上天之驕子，受命於天來統治天下，只有他們才有權知道上天的意旨。因此，只有天子所在的都城才有天文臺，「天子有靈臺，以觀天文，……諸侯卑，不得觀天文，無靈臺」。早期的靈臺不僅進行天文觀測，還是祭祀和每月初一舉行告朔儀式的地方。後來，隨著天文工作和祭祀活動日益擴大，靈臺成為專門進行天文觀測的場所，而祭祀和告朔則在社壇神廟和明堂進行。

現存最早的天文臺遺址在今天的河南省偃師縣境內，是在東漢中元元年（56）建造的。這座靈臺在當時屬太史令管轄，設有一個靈臺丞主持全臺的工作。全臺共有四十二名工作人員，其中十四人負責觀星，兩人負責觀測太陽，其他人則分別負責對風、氣、晷影和鐘律進行觀測和測量。這座天文臺從管理和組織上都已經相當完備，對後世官方天文臺的建立模式產生了很大的影響。漢代以後，歷代均有天文臺，其規模和人員編制更為宏大，管理和組織更加完備，成為天文觀測和曆法編制的重要場所。