嘉道理花園的主人原是英籍猶太人埃里.嘉道理，上世紀末他來到香港和上海辦實業，經過數十年的奮鬥 ，在建築、地產、橡膠、金融等行業都有投資，並形成一定規模，開創了香港的第一家經紀行。

　　1926年，他因舉辦慈善事業（在滬創辦了育才公學即現在的育才中學﹔捐款創辦上海第一個治療肺結核的醫院），英王授予他爵士封號。在本世紀30年代，老嘉道理的二個兒子勞倫斯與霍瑞斯均已長大成人協助其父繼續開拓，使嘉道理家族集團逐漸發展成為上海灘上能與沙遜、哈同等齊名的一大猶商財團。

　　1941年太平洋戰爭爆發後，日本人進入上海租界，嘉道理一家被趕出了家園。匆忙中他們只帶了些日用品 ，先是被押往香港，關在斯坦利集中營，後又被押回上海，關在閘北集中營，每人一天之能領到一香煙罐米飯。飢餓、寒冷和疾病，簡直要把埃里活活折磨致死，他們的企業和財產全部被日本人掠去，在香港和東南亞一帶的財產也喪失殆盡。

　　日本人占據這個花園后就把它當作一個軍事指揮機構。直到日本人投降前的一年，老嘉道理已是生命垂危的時候，他2個兒子才被允許住進院子旁的小屋內，照顧父親，實際仍在軟禁之中。

　　當年嘉道理家族建造新住宅時，因暫有要事離開了上海，將建造一事委託了設計師格拉漢.布朗。卻不知格拉漢是一個有名的醉漢，常常是喝足了白蘭地後對圖紙大抒豪情，結果把供四、五人居住的宅院造成了一座大理石宮殿。當嘉道理一家回國時，面對著建築承包商寄來的巨額賬單驚訝得目瞪口呆，而那位喝得爛醉的設計師，正躺在醫院裡等待救護。

　　然而這畢竟是一座美侖美奐的豪華巨廈，有著50英尺寬的舞廳、225英尺長的長廊、大廳北部的合抱式樓梯等等。建築所用的大理石全部從意大利運來，前後費銀共100萬兩，當時可買5千多萬斤大米，共14萬人吃1年。其造價之昂貴，已超過了哈同花園（哈同花園造價為70萬兩銀）。這是上海灘唯一一幢大理石大廈。嘉道理一家十分好客，他們有喜歡與他人分享好運的悠久傳統，使這幢大廈很快在世界各地出了名。

　　一天傍晚，正值上海全城燈火管制時，門外傳來了重重的敲門聲。勞倫斯打開門一看，是原上海法國領事館的首席大法官考夫曼先生。他神情緊張，雖未被關進集中營也遭到法國維希政府在上海的支持者的搜捕，不得不東藏西躲。這次他趁燈火管制天已漆黑，來求嘉道理兄弟幫一個忙。他一邊氣喘吁吁地說話，一邊把一個有7公斤重的用舊報紙抱著的包裹交給勞倫斯。在2兄弟的追問下他才告訴他們，這是一根金條，並說："你們是我認識的唯一能夠相信的人，把它藏起來吧！"

　　作為當時早已一貧如洗的戰俘，這根金條也許能夠救老嘉道理的命，他們的感情十分複雜。盡管如此，到了半夜時分，兄弟倆還是偷偷溜出了屋子，跑到花園中找了棵樹，把金條埋在了樹下。9個多月後，日本人投降了，兄弟倆又經過一番搜尋，挖出了那根金條，還給了考夫曼。