1896年与1898年，俄国透过《中俄密约》和《旅大租地条约》，取得在中国东北境内修筑与经营铁路的权利。东省铁路（东清铁路、中东铁路）西起满洲里，经哈尔滨抵绥芬河。并有一南满支线自哈尔滨经长春、沈阳至大连、旅顺。日俄战争后，俄国将长春以南让给日本，成为南满铁道（简称满铁）。
1920年3月，仍然控制中东铁路的白匪头子霍尔瓦特被赶下台以后，中国政府逐步收回了一些前俄国在中东铁路附属地内非法侵占的中国主权。同年9月23日，北京政府以大总统命令，停止了前沙俄驻华使领馆待遇，并将原中东铁路用地划作"特别”区域。10月，颁布了"东省特别区警察编制大纲"，设立东省特别区警察总管理处。收回了中东铁路界内的司法权和警察权。1921年2月5日，设置了东省特别区市政管理局，宣布接管哈尔滨及中东铁路沿线的市政权。1922年12月8日，北京政府公布了《东省特别区行政长官公署办事条例大纲》，1923年3月1日，东省特别区行政长官公署在哈尔滨南岗民益街正式成立，行政长官由大总统任命。首任行政长官为朱庆谰。
东省特别区管辖的地区，包括哈尔滨，东至绥芬河，西至满洲里，南至宽城子。全区域共分5个区，每区设总署、分署及派出所、分驻所。哈尔滨为第一区，管辖道里、八区、三十六硼、南岗、马家沟、香坊、顾乡屯等。
东省特别区行政长官公署下属警察总管理处，路警处和市政管理局。1923年8月1日设东省特别区地亩管理局，1926年8月设东省特别区教育局(次年改为教育厅)。将哈尔滨的广益中学、东华中学、普育中学和从德女子中学收归东省特别区教育局管理，改称东省特别区第一、二、三中学和第一女子中学。
东省特别区一直存在到1932年伪满洲国成立，其后，伪满洲国将其改称为北满特别区。1935年3月23日，苏联将中东铁路卖给日伪政权，北满特别区遂即撤销。
