據《嶧縣志》記載,臺兒莊蘭陵書院是在乾隆四十八年(1783年)修建的。但是追溯其源頭,蘭陵書院在春秋時就已有之。由于在歷史上,無論管理體制如何變化交替,臺兒莊與蘭陵一直同處于一個縣治,所以筆者認為,清朝時的蘭陵書院與春秋時的蘭陵書院是有淵源的,可以說是一脈相承。　　

       蘭陵書院始建于春秋末期,創建者為魯國高柴。高柴出生于公元前521年,為孔子“七十二賢”之一,孔子認為他憨直忠厚。高柴曾做官于魯國、衛國；教書于陳國的太康、商水、杞縣,魯國的蘭陵以及楚國。高柴在蘭陵游學期間,創辦了蘭陵書院,教授弟子,傳播仲尼之道。高柴離開蘭陵后,其子高魁繼續執掌蘭陵書院。蘭陵出過不少鴻儒經師、歷史名人,無不與蘭陵書院的教化有關。

       之所以說清朝的蘭陵書院與春秋時期的蘭陵書院一脈相承,是因為臺兒莊與蘭陵頗有淵源,古代同屬蘭陵邑。秦漢時期,臺兒莊是蘭陵鎮的一個小村落。明朝萬歷之后,京杭大運河避黃改道經過臺兒莊,隨著漕運的興起,臺兒莊逐漸發達起來。到了康乾盛世,無論是城鎮規模、經濟發展還是人口,臺兒莊都遠遠超過了蘭陵。兩地同屬嶧縣,此時的蘭陵書院有名無實,知縣張玉樹將蘭陵書院遷建到臺兒莊已成自然之事,其目的是借助臺兒莊的巨商富賈繁榮發展蘭陵書院。

       張玉樹,在乾隆四十年前后任嶧縣知縣。張玉樹學識淵博,膽識過人。據《嶧縣志》記載:“公(即張玉樹)識量尤偉,通曉情偽,鏟除奸蠹,胥吏皆斂手不敢為非?！睆堄駱渥⒅亟逃幕ぷ?時常巡視鄉村學校私塾,對那些勤奮教書,通曉文章,講大義識大體者,當面嘉獎鼓勵。由于他獎罰嚴明,全縣士儒形成了良好風尚。

       張玉樹認為臺兒莊乃人杰地靈、鐘靈毓秀之地,如不在此建立學堂、設壇授教,真是美中不足。張玉樹查閱好多史料,訪問好多名人,都說嶧縣治下古時有一座書院,名曰“蘭陵書院”。張玉樹認為此名甚佳,便采納了文士意見,在乾隆四十八年(公元1783年)劃撥資金在臺兒莊的東門里建了一處書院,名為“蘭陵書院”,并制定了一些規定條文,選派縣內十多位著名士紳為董事,管理書院的經費、地基、文契等一切賬目,建章立制非常完備。次年立碑并撰寫《蘭陵書院董事碑記》,其中說“臺兒莊新建蘭陵書院,為教育人才之地”。
       張玉樹興建蘭陵書院后,又歷經三次修繕,即嘉慶二十年的知縣張濤、道光二十年的知縣張夢琪、咸豐元年的知縣朱彥華分別進行了大規模重修。這之后,蘭陵書院具備了相當規模。據《嶧縣志》載:“中為講堂三間,東西廂各五間,二門樓一間,大門樓一間。門之內草房六間,以居學役。講堂之北,復樓其后軒,以為燕息之所?！焙髞硖教靽鹆x,咸豐八年(1858年)秋,捻軍首領張樂行、劉天福探知嶧縣臺兒莊富饒,為籌集軍餉,率軍數萬直取臺兒莊,守軍棄城而逃。這以后,縣府銀庫再也沒有經費撥付書院,好在臺兒莊的士紳富賈積極捐款輸資,書院得以正常運轉,沒有廢棄。
到了光緒二十八年(1902年),知縣王貽哲奉札改蘭陵書院為校士館,是年秋,又稟告申請在蘭陵書院設立小學堂。到戊戌變法維新失敗,仍然以蘭陵書院之名延續二十余年,直到北伐戰爭后,又以學校、學堂名義保留。

       1938年春,臺兒莊戰役爆發,繁榮富庶的臺兒莊變為一片廢墟,蘭陵書院也未能幸免。抗戰勝利后,1946年著名鄉紳孫業洪積極籌資,在蘭陵書院原址創立私立學校,取名“勝利中學”。不久,國共內戰爆發,淮海戰役前夕孫業洪攜勝利中學學生南遷,后輾轉到臺灣。這批學生大多成為寶島才俊,如金門警備區司令、中將馬云生,著名兒童文學 作家郁化青,著名油畫家金哲夫,著名歷史學家張玉法等蜚聲海峽兩岸。
       新中國建立后,臺兒莊地區成立蘭陵縣,縣政府駐地設在臺兒莊。1952年10月,臨沂專署在“泰山廟”舊址創立“山東蘭陵中學”。1953年遷至蘭陵書院舊址,后幾經更名,就是現在的棗莊二中。