Чином свечаног освећења Општинске библиотеке и Музеја, 11. јануара 1931. године, Београд добија модерну градску библиотеку, читав један век након прве позајмне Библиотеке вароши Београдске Глигорија Возаровића.
После више сеоба, у мају 1935. године, Општинска библиотека и Музеј досељавају се у зграду у Улици кнегиње Љубице бр. 1, у данашњу Змај Јовину улицу. Немачко бомбардовање 6. априла 1941. године наноси Библиотеци непроцењиву културну и материјалну штету. Од запаљивих бомби изгорео је кров и последњи спрат. Ипак, Библиотека града Београда не прекида рад са читаоцима. После Другог светског рата оснивају се и рејонске, доцније општинске библиотеке. Приступа се новој организацији рада, формирају се посебна одељења, оснива се стручни центар за библиотеке београдског среза, са тежњом да се створи јединствена мрежа популарних библиотека. Према Закону о библиотекама, Библиотека града Београда је од 1961. године одређена за матичну библиотеку за подручје града.
Средином шездесетих година први пут је обједињена набавка за целу мрежу, а сваки двадесети Београђанин је члан Градске библиотеке. Постојеће просторије у Змај Јовиној улици већ су претесне, па средином седамдесетих Библиотека добија на коришћење зграду у Кнез Михаиловој 56, некадашњи хотел Српска круна. Радови на уређењу зграде потрајаће читаву деценију. У међувремену, уводи се слободан приступ књигама у Општем позајмном одељењу. Следећи савремена светска искуства, и дечја одељења преуређују своје фондове, књиге се сређују према узрасту детета коме су намењена. Започиње се са радом на библиографији књига о Београду. Библиотека града издаје књигу превода страних путописа о Београду XIX века, потом и Приповетке о Београду, својеврсну кратку историју Београда у причама… Број књижевних програма и изложби књига под окриљем Библиотеке сваке године расте.
Најзад, у октобру 1986. године, песникиња Десанка Максимовић свечано отвара нову зграду Библиотеке града Београда. У свом обраћању, она ће рећи: „Да смо три века тражили где ћемо је ставити, не бисмо јој лепше место нашли: у прочеље је гледа песник Милан Ракић, недалеко на Калемегдану су и Бранко Радичевић, Војислав Илић, Бора Станковић, да не набрајамо свсе чија ће дела вековати под кровом ове Библиотеке…“ Библиотека града Београда постаје прва јавна компјутеризована позајмна библиотека у земљи.
Деведестих година XX века осетно је опао број уписаних чланова и набављених наслова, али је број прочитаних књига остао готово исти. У овом периоду, Библиотека града Београда, заједно са мрежом општинских библиотека, има најразвијенији културно-образовни рад у библиотекарству Србије. Започето је систематско праћење читалачке популације Београда. Од 1991. године отпочиње објављивање листа Новине београдског читалишта. Без прекида рада са публиком, 1997. године започета је ревизија Општег фонда. У Кнез Михаиловој улици почела је са радом Интернет читаоница. Уграђена је електронска заштита фонда у слободном приступу. Поводом седамдесет година од оснивања Библиотеке града Београда, 11. јануара 2001. године, свечано је обележен Дан библиотеке. Тим поводом објављена је књига одабраних радова прве управнице, Марије Илић-Агапове и установљена награда најбољем библиотекару Београда названа њеним именом. Две године касније, у оквиру прославе Дана Београда, отворено је реновирано Одељење старе и ретке књиге и књиге о Београду – Завичајно одељење, у Змај Јовиној 1. У јулу исте године, у оквиру пројекта Лепша Србија / Beautiful Serbia, као прва обновљена је фасада Кнез Михаилове 56. У обновљеним просторијама свој рад наставља Одељење периодике, али и многи огранци општинских библиотека. Први пут, после више година, достигнут је стандард оптималне набавке књига за све фондове. Довршени су и објављени резултати вишедеценијских пројеката, други том Грађе за библиографију југословенске и стране књиге о Београду (2003) и двотомна монографија Улице и тргови Београда (2004/5).
Прва фаза имплементације библиотечког софтверског програма БИСИС започета је 2005. године. Исте године из штампе излази и први број нове серије Новина Београдског читалишта.
У годинама које следе, Библиотека града Београда стиче леп глас веома посећеним изложбама које су посвећене великанима наш књижевности: Слободану Селенићу, Јовану Јовановићу Змају, Данилу Кишу, Владану Десници, Јовану Стерији Поповићу, Борисаву Станковићу, Бориславу Пекићу, Бранку Миљковићу, Исидори Секулић, Душану Душку Радовићу, Десанки Максимовић… Организују се округли столови и штампају зборници радова посвећени реномираним српским (и београдским) писцима: Драгославу Михаиловићу, Бранку Миљковићу, Светлани Велмар Јанковић, Давиду Албахарију, Бранку Ћопићу, Данилу Николићу, Душку Радовићу, Иви Андрићу, Душану Ковачевићу, Милошу Црњанском, Милораду Павићу, Бориславу Пекићу…
Посебна пажња посвећена је старој и реткој библиотечкој грађи која се прикупља од самог оснивања Библиотеке. Процес конзервације и рестаурације прошао је од 2012. до 2017. године 31 примерак старе картографске грађе и 46 примерака старе и ретке књиге и периодике (XVI‒XIX век). У Електронски регистар старе и ретке библиотечке грађе уписана су 1.103 наслова, што нас по броју евидентиране грађе чини трећом библиотеком у Србији, после Библиотеке Матице српске и Народне библиотеке Србије. Посебно признање Библиотеци града Београда указано је Одлуком о проглашењу старе и ретке библиотечке грађе за културно добро од изузетног значаја у Службеном гласнику РС бр. 35/2021. године.
Библиотека града Београда од 2005. године активно учествује у бројним домаћим и међународним стручним пројектима. Посебно бисмо истакли пројекте које је подржала Европска унија –AccessIT, AccessIT plus, Europeana Awareness, Dissemination and eXploration through Libraries, LoCloud, Re-designingandco-creating Innovative Cultural Heritage Services Through libraries, Enhancing Key Civic Competences for the Post-truth Era: News Literacy and Critical Thinking, као и пројекат развоја библиотечког информационог система БИСИС 5 који од 2017. године редовно подржава Министарство културе и информисања.
Библиотека је активан члан у свим релевантним домаћим и најзначајнијим међународним библиотечким удружењима: Заједница матичних библиотека Србије, IFLA Metropolitan Libraries Section), IFLA Public Libraries Section, EBLIDA.