宰輔第位于余姚鎮(zhèn)南河頭保慶路，是明代大學士呂本(閣老)故居。呂本(1503一1587)，字汝立，號南渠、期齋，早年曾拜謝丕、倪宗正為師。嘉靖十一年(1532)中進士，二十七年任南京國子監(jiān)祭酒(大學校長)。次年廷推閣員，呂本被明世宗特選以少詹事的身份入內(nèi)閣辦事。二十九年，晉升為吏部右侍郎兼東閣大學士。三十年晉禮部尚書。三十三年進太子太保，兼文淵閣大學士。三十五年加少保，兼武英殿大學士，主管吏部事。次年晉光祿大夫，兼太子太傅。

宰輔第坐北朝南，沿縱軸線依次為門廳，轎廳、正廳、寶綸樓(御書樓)。每廳前均有圍墻，正廳前有門樓，把庭院一分為二，形成兩個庭院。里院中心有甬道，正廳兩側(cè)有套樓，外院東西兩側(cè)各有廂樓七間。

轎廳通面闊26米，分七間，明間脊檁枋上置一斗三升斗棋二攢，支撐脊檁。正廳通面闊20米，分五問，高大空闊，明間脊檁枋上置平身科四朵，次間置三朵，都為一斗三升斗拱。脊檁枋上刻有簡練的單線條卷草紋，平身科斗棋邊緣描有彩色線條，勾勒出斗棋輪廓。正廳之后經(jīng)過一座石墻門洞即是寶綸樓，是收藏欽賜書籍及攻讀詩文之所，原塑有御妹娘娘。正廳西邊為“落馬園”，“落馬園”正北即是“玉蘭堂”，是呂本出生處；東邊緊連“天官府”，是明代戲曲理論家、呂本的曾孫呂天成的出生處。

宰輔第現(xiàn)僅存轎廳和正廳，已難見昔日的榮華景象。

1987年l0月16日，宰輔第已由余姚市人民政府公布為市級文保單位。