如果說北京大學研究所國學門組織考古學會主要是為了謀求自身的發展，那麽日本東亞考古學會則從一開始就是為了與中國的相應機構結盟而成立。
考古重心東移，使得以中國為中心的東亞成為國際學術界關注的焦點。日本雖然國力漸盛，教育學術發展迅速，但在考古學這一特殊領域，受製於客觀條件，盡管發端甚早，進展卻不大。而風氣由歐化轉為東方主義，迫切需要學術上的解釋與表現。對於東亞探險考古活動大都由歐西學者主持、中國學者幾乎無關、日本學者貢獻也極少的狀況，濱田耕作等人感到十分遺憾。要想改變，就必須將考古發掘的現場擴展到日本以外，尤其是中國大陸。而在中國國內政局動**，中日關係又日趨緊張之際，沒有中方的協助，這一目標顯然很難實現。
20世紀20年代，日本借退還庚款之名舉辦東方文化事業，引起中國各地各界人士的極大關注，相互之間長期交涉競爭，紛紛加強對日本的交流。以此為契機，在政治與學術關懷的交相作用下，中日兩國學者積極開展合作。北京大學利用其首席國立大學的有利地位，從一開始便展開了強有力的角逐。1922年，胡適與蔣夢麟等人擬訂計劃，主張在中國國立大學和日本帝國大學互設中、日講座，提倡東方文化研究。[1]而中日學術協會的發起與此關係更為直接，可以說簡直就是東方文化事業的派生物。
該會成立於1923年10月14日，起因為年初北京大學校方召集任教於北大文科的留日出身的教授，如陳百年、張鳳舉、馬幼漁、周作人、沈兼士、朱希祖以及在京都大學進修過的沈尹默等，商議日本對華文化事業。是年3月13日，周作人、張鳳舉前往日本公使館找吉田參事官晤談。剛好這時日本國學院大學教授田邊尚雄、京都大學教授今西龍、東京大學教授澤村專太郎等人相繼來北大講學或研究，與北大教授常有交流應酬，顯示了北大在中日學術交流中作為首席國立大學的重要地位。