Knihovna Poštovního muzea navazuje na někdejší Úřední knihovnu Ministerstva pošt a telegrafů, která zahájila svou činnost v roce 1920 a při svém vzniku převzala knihovnu pražského ředitelství pošt a telegrafů. Tato knihovna shromažďovala především literaturu související s činností ministerstva, různé úřední předpisy domácí i zahraniční. Vedle toho i shromažďovala literaturu k dějinám poštovnictví. Po roce 1945 budovalo Poštovní muzeum vlastní sbírku knih, zaměřenou především na filatelii. Celá knihovna byla později rozšířena i o knihy z majetku Klubu českých filatelistů, dále o části někdejší knihovny oddělení známkové tvorby Federálního ministerstva spojů a o část knižního fondu Výzkumného ústavu spojů.
Fond knihovny tak zahrnuje úřední pomůcky v čele s věstníky poštovní správy (od r. 1839), věstníky jednotlivých poštovních ředitelství, pořadníky poštovních zaměstnanců, poštovní pravidla, železniční jízdní řády. Unikátní soubor tvoří sbírka českých telefonní seznamů, které jsou dochovány téměř v úplnosti. Významný je také soubor filatelistických časopisů zahrnující jak klasické tituly počínaje nejstarším Le Timbre Poste, tak třeba i malonákladová periodika českých regionálních filatelistických klubů.