安少有盛名，时多爱慕。乡人有罢中宿县者，还诣安。安问其归资，答曰：“有蒲葵扇五万。”安乃取其中者捉之，京师士庶竞市，价增数倍。安本能为洛下书生咏，有鼻疾，故其音浊，名流爱其咏而弗能及，或手掩鼻以斅之。及至新城，筑埭于城北，后人追思之，名为召伯埭。
羊昙者，太山人，知名士也，为安所爱重。安薨后，辍乐弥年，行不由西州路。尝因石头大醉，扶路唱乐，不觉至州门。左右白曰：“此西州门。”昙悲感不已，以马策扣扉，诵曹子建诗曰：“生存华屋处，零落归山丘。”恸哭而去。安有二子：瑶、琰。瑶袭爵，官至琅邪王友，早卒。子该嗣，终东阳太守。无子，弟光禄勋模以子承伯嗣，有罪，国除。刘裕以安勋德济世，特更封该弟澹为柴桑侯，邑千户，奉安祀。澹少历显位，桓玄篡位，以澹兼太尉，与王谧俱赍册到姑孰。元熙中，为光禄大夫，复兼太保，持节奉册禅宋。琰字瑗度。弱冠以贞干称，美风姿。与从兄护军淡虽比居，不往来，宗中子弟惟与才令者数人相接。拜著作郎，转秘书丞，累迁散骑常侍、侍中。苻坚之役，安以琰有军国才用，出为辅国将军，以精卒八千，与从兄玄俱陷阵破坚，以勋封望蔡公，寻遭父忧去官，服阕，除征虏将军、会稽内史。顷之。征为尚书右仆射，领太子詹事，加散骑常侍，将军如故。又遭母忧，朝廷疑其葬礼。时议者云：“潘岳为贾充妇《宜城宣君诔》云：‘昔在武侯，丧礼殊伦。伉俪一体，朝仪则均。’谓宜资给葬，悉依太傅故事。”先是，王珣娶万女，珣弟珉娶安女，并不终，由是与谢氏有隙。珣时为仆射，犹以前憾缓其事。琰闻耻之，遂自造辒辌车以葬，议者讥之。