嘉庆六年（1801）黄丕烈无意于仕途，发直隶知县不就，辞官归，专事收藏、校雠和著述。所藏古今善本、秘本、珍本极为丰富，因独嗜宋本书，自号为“佞宋主人”。藏宋版书达百余种，专辟一室为“百宋一廛”而藏之，自作有《百宋一廛书录》1卷。有人作《百宋一廛赋》，他自作注释，说明版刻源流和收藏传授。所购之书，按其类别分藏。藏书室有“士礼居”、“读未见书斋”、“陶陶室”、“小千顷堂”、“学海山居”、“求古居”、“红椒山馆”、“学耕堂”、“冬蕙山房”等10余处。晚年又于玄妙观前开设“榜喜园书铺”，以流通书籍。书贾、藏书家云集。

因他精于校勘，经他手所校之书，在版本界、学术界享有极高的声誉，藏书家、书商对于黄氏“士礼居”藏书，趋之若鹜。晚年因生计窘迫，藏书逐渐流散，先后为艺芸书舍、海源阁、铁琴铜剑楼等著名藏书楼收藏。其藏书现存于国内者，绝大多数分藏于国家图书馆、上海图书馆、南京图书馆、北京大学图书馆和台北“中央图书馆”等；流往国外的，则藏于日本静嘉堂文库。