一般認為，法國比較教育學家朱利安在1817年發表的《關于比較教育的工作綱要和初步意見》是比較教育史的開端。但是，比較教育的產生并不是一個偶然的歷史事件，它是人們在長期的歷史過程中以不同方式對不同地區的教育進行描述和比較的活動中逐步發展而來的。在比較教育的學科史發生以前，這些對不同地區和國家教育的描述和比較，就是比較教育得以產生的歷史前提，一般將其稱之為比較教育的前科學階段。

比較教育的史前階段，可以一直追溯到古希臘和古羅馬時代。早在古希臘和古羅馬時代，就有不少人由于各種原因和目的出訪別國，他們往往把在別國的所見所聞記述下來，其中別國的教育就是非常重要的一部分。當然，這些記述一般只是現象的描述，缺乏解釋和分析，他們的目的也只限于讓別人去了解別國奇異的，不同于其他國家的事件，因此，其中也包含了滿足人們的獵奇心態。基于此，美國比較教育學家諾亞和埃克斯坦將這一時期的教育比較稱之為“旅行者見聞。

公元前5世紀，被稱作“歷史學之父”的古希臘著名歷史學家希羅多德（公元前484-公元前425)在對波斯戰爭的評論中，就以文化比較的觀點提及并評述了當時波斯的教育狀況。古希臘歷史學家色諾芬（Xenophon，約公元前430-公元前354)在他的《波斯國王塞勒斯傳》一書中，通過對波斯和希臘教育的觀察和比較，間接地贊揚了斯巴達教育的優越性。值得一提的是，色諾芬在某種程度上還把波斯的教育制度與當地的社會生活聯系起來加以考察，提出了諸如教育機會均等、英才教育、品格教育等教育問題。柏拉圖（Plato，公元前427～公元前347)在他的《國家篇》中也曾經拿斯巴達的教育與雅典的教育作比較，認為雅典的教育應當效仿斯巴達。古歲馬哲學家、雄辯家西塞羅（Cicero公元前106-公元前43)在他的著作中也講述了古希臘和古羅馬的教育情況，并對兩者在教育方法等方面的差異進行了比較。

在我國，從漢代起，就與鄰近的朝鮮、日本、印度等國家有著密切的文化、教育交流。中國漢武帝時在中央創立太學，以五經博士為教官，“以養天下之士”，成為中國當時的最高學府。公元372年，這種教育制度和教育內容傳到了朝鮮，高句麗開始模仿漢朝的太學，以教育子弟，傳授中國的儒家經典；公元4世紀前后，百濟建立了比較完善的儒學教育制度，培養了大批名儒，這些名儒還把《論語》《千字文》等傳到了日本。中朝文化教育交流在唐朝尤為興盛，公元640年，朝鮮三國向唐朝首次派遣了留學生，進入國學學習，這些留學生學成歸國后把中國文化帶回了本國，促進了本國文化教育的發展。

從7世紀開始，日本開始向中國派來遣隋使、留學生等，把中國的政治、文化和教育帶回日本。唐朝以后，中日文化教育交流達到高峰。日本派遣的遣唐使在中國全面學習之后，把中國的各種文化教育制度及教育內容引進本國。此外，唐朝也派遣一些僧侶、學者到日本講學，傳播佛學和儒學，極大地影響了日本的文化教育。

7世紀中葉，中國的玄奘（602-664)旅行16年，最后來到佛教圣地印度，在世界聞名的那蘭陀寺受學五年。回到中國后，他根據個人旅行見聞撰寫的《大唐西域記》一書，詳盡介紹了印度尼泊爾、巴基斯坦、孟加拉國、中亞等地的人文、歷史、地理以及教育，還專門描述了這些國家和地區，特別是印度的教育制度教師、校舍和課程等。

在中世紀，由于貿易、旅行、外交活動的頻繁，特別是十字軍東征時期聯絡信息的往返，出現了許多關于其他國家民族的報道，其中有不少關于不同文化和風俗的論述。

13世紀中葉，法國的路易九世下令遠征鞋靶和中國，這些遠征軍對魅塑和中國的狀況及其居民的文化和知識進行了報道。

不過，對東方國家文化、民族特征進行描述的最有代表性的人物是意大利旅行家馬可·波羅（MarcoPolo)。他訪問了一些東方國家，并在中國元朝供職達17年之久。他撰寫了《馬可·波羅游記》一書、廣泛地介紹了東方國家，特別是中國，包括教育在內的各方面情況，開啟了歐洲人對中國的啟蒙性認識。

威尼斯最高議會從1268年起就要求所有駐外使節詳細撰寫各自所在國和他們訪問過的國家的報告，這一工作一直延續到16世紀。這些大使們所撰寫的報告牽涉對教育情形的描述、分析和評論。被稱為比較教育的真正先驅的赫勒敦（Khaldun，1332-1406)就認識到研究文化和教育差異的重要性，他極力主張進行史學研究。在關于地理和歷史哲學的巨著《歷史學導論》中，他強調要研究各民族以及各個地域文化和教育的重要性，并分析了東西穆斯林的文化和教育差異。

16世紀的地理大發現在一定程度上刺激了人們的海外貿易、探險、履行和傳教等活動，其中對他國教育的報道也大大增加。1520年，博伊莫斯描述了歐洲、亞洲和非洲各民族的民俗和生活特點，其中也涉及了教育現象。德國學者米登多普受派遣去收集了法國、意大利、丹麥、波蘭和波西米亞大學的信息。文藝復興時期尼德蘭的人文主義者、教育家伊拉斯莫（Erasmus，約1466-1536)在法國、德國、英國、意大利等國游歷和任教，并對這些國家的教育做過比較，其中在英國旅居時，對英格蘭的學術情況以及牛津大學和劍橋大學的教學、教育作了評論，并與意大利做了一些比較。

到了17世紀，國際交流和接觸也更為頻繁，旅行者們也更加有意識地對各國的教育情況進行描述和報道。義化和教育的比較在這一世紀也逐漸步人正軌。英國克倫威爾圓顱黨(Roundhead)軍隊中指揮官威廉·布協拉頓在1634年訪問了德國的萊頓大學，將它與牛津大學進行了比較，他雖然十分贊賞這所在歐洲享有較高聲望的大學，但認為萊頓大學的物質條件遜于牛津大學。牛津大學解剖學教授、皇家學會締造者威廉·佩蒂爵士在《調查國家狀況的方法》一書中闡述了有關國外觀察的更學術化的方法，使后來采用他的方法的旅行者更為嚴密地調查了學校和學生的數量、學校和課程組織等。

到18世紀末19世紀初，出現了相對成熟的教育比較。德國旅行者伯克托爾發表的論文《愛國旅游者調查研究》中不僅有關于異國教育比較的描述，而且還就旅行者感興趣的問題設計出一份問卷。他認為，教育對人們的行為具有強有力的影響，以至于它應該被視為人類及整個社會幸福或痛苦的源泉，因此，它將引起旅行者的注意，使他們去調查形成兒童健全體魄和促進他們心靈與理解力的不同方法。在這一時期，法國也出現了一些對教育進行比較考察的文獻。1763年，拉沙洛泰在他的《論國民教育》一書中，報告了俄國科學教育的進步狀況，同時也描述了英、德等國教育的優越方面，以期法國的教育也能夠進行變革。1776年法國哲學家狄德羅以法國的教育制度為基礎，設計了一份旨在提高俄國教育質量的計劃提交給了葉卡捷琳娜二世；法國大革命以后，吉倫特派領導人孔多賽代表公共教育委員會向議會提交了一份報告。根據對英國、意大利和德國的教育考察和比較，他在報告中提出了法國教育發展的建議。同時，法國的巴賽在《對國外教育和教學的不同模式考察結果的利用》一文中，對歐洲各國的教育進行了比較研究，認為法國大學的人員應該廣泛出訪，收集有用的教育信息。他們的這些卓有成效的工作對朱利安發表《關于比較教育的工作綱要和初步意見》有著直接的影響。