在二十年代, 香港當時的華籍商人, 証券商和專業人士都以華商會作為主要的社交場所, 而非華籍人士則以香港會作為社交活動中心。當修頓(W.T. Southorn) 出任署理港督時，他認為這兩類人士應該要有機會相聚和進行社交活動，以促進彼此間的友誼。為了實現這個理想，他敦促華商會和香港會的領導層去成立一個新會。由於雙方都熱衷於賽馬和其他體育活動，因此他就命名這個新會為「五陵會」。
 
最初的會所是設於干諾道中的太子行，取其位置正好是處於香港會和華商會之間。當時，會章規定，這個會的會員必須是華籍和非華籍各佔一半。到了1989年，由於非華籍會員逐漸減少，因此便決定撤消這項限制。
 
就正如當時所有會所一樣，五陵會也禁止婦女加入。婦女祗可以進入太子行二樓的「仕女廳」，而男士則可以享用整層太子行三樓的會所。當太子行被拆卸以改建為於仁行﹝後改名為太子大厦，現遮打道11號﹞時，會所曾一度暫時遷往他處。到1958年，會所搬回於仁行頂樓。後來，大業主香港置地認為本會所及對面的中餐館有礙衛生，要求本會遷出，並支付十六萬元作為搬遷賠償。在莫應基先生和關超然先生的領導下，本會的証券界會員將這筆賠償金投向股票市場，沒多久便變成一百八十萬元。有了這筆錢，本會於是自行購置會所，並於1973年搬入現址。
 
本會從成立時起，便於香港賽馬會設立”五陵會挑戰盃”。 到1978年, 這項盃賽改名”五陵會鑽禧挑戰盃” ，以紀念本會成立五十周年。