Здание было построено по проекту архитектора К.М.Быковского в 1897-1901 гг. на месте парадного двора бывшей усадьбы Пашковых. Первая сумма на это строительство поступила в 1886 году по завещанию декабриста Матвея Ивановича Муравьева-Апостола. При закладке здания в толщу стены фундамента была замурована бронзовая доска с текстом о том, что здание библиотеки строится на средства, пожертвованные М.И.Муравьевым-Апостолом, Ф.И.Ушаковой и М.И.Павловой, по проекту архитектора К.М.Быковского и под наблюдением архитектора З.И.Иванова.

В большой угловой ротонде, форма которой созвучна классическим очертаниям соседних зданий и скругленному фасаду церкви, расположен главный читальный зал библиотеки.