怡文楼位于大鹏所城赖府巷，建于清道光二十六年（公元1846年），面积360平方米，为砖木结构，有二层，两进三开间，中设天井，两侧各为一厅二间式格局。地面铺大阶砖，墙基为青麻石，上砌青砖，堆瓦屋面，硬山顶，般形脊。怡文楼是赖恩爵将军的书房，故又称“赖府书房”。内挂“崇兰书室”牌匾，后期曾作为赖氏家族儿童读书的书室 。解放后，曾被作为公社粮仓使用。现辟为博物馆展厅。