兆麟公园最早是元聚烧锅的料场，储存制酒原料。中东铁路开工后被划入“中东铁路的附属地”。因义和团运动被沙俄军队强占，开设临时医院。沙俄军队撤走后，由铁路局接管改作公园，当时的规模很小，仅为现在面积的三分之一，设施也比较简陋。
1903年，俄国人伊万诺夫在公园里开办了“门捷列夫花园”剧场；
1904年，伊万诺夫回国，将剧场转让给阿诺利多夫，改名花园“滑稽”剧场。
1907年5月14日（俄历5月1日）中俄工人在这个公园里庆祝“五一”国际劳动节，遭到俄国警察鸣枪弹压。
1908年3月，哈尔滨中东铁路高官和富商、名士等俄国人组成自治公议会，选举产生了第一届市董事会，并强行窃取了哈尔滨市政权。6月中东铁路局将公园交给市董事会管理，公园改称“董事会公园”。董事会接管后，在公园四周设板障，修建木质大门。
1910年公园内新建一个木制贝壳式露天音乐台，每逢星期三、六、日举行音乐会，同时还建了一个欧式剧院演出戏剧舞蹈。这个已经不存在了。
1926年，哈尔滨市人民终于夺回了市政权，成立了哈尔滨特别市，公园改名为“特别市公园”，又称“道里公园”，增建了茶亭、动物舍，展出狐狸、黄羊、猫头鹰等动物，将原露天电影院加棚改为电影院，将公园木门改为铁门。现在公园里还有小动物，记得好像有孔雀。
1929年，哈尔滨市政府对公园重新规划，聘请俄国著名工程师拉苏申担任公园的总设计师。1929年动工，1932年完成。公园新建了花坛、假山、凉亭、人工湖、小桥，公园四周安装了精美的铁栅栏，由三只口喷水柱的大青蛙构成的喷泉也很有创意，由此奠定了哈尔滨第一公园的地位。兆麟公园的围墙是市类历史建筑和不可移动文物。通透的欧式围墙由米黄色砖石柱垛与墨绿色金属栏杆组成，这种风格一致保存至今。
伪满统治时期，这座公园又叫“哈尔滨第一公园”和“道里公园”。
1946年3月9日，抗日名将中苏友好协会会长李兆麟在水道街9号被国民党特务暗杀。3月15日，水道街改为兆麟街，特别市公园改名为兆麟公园。
1946年3月24日，哈尔滨10万多名群众在兆麟公园举行李兆麟将军遗体安葬仪式和追悼大会。6月14日，李兆麟墓园开工建设。8月15日，在抗战胜利一周年之际新墓园落成，兆麟公园成为第一个东北抗日联军烈士纪念公园。
通往兆麟墓