虞世南的祖父虞檢,在梁代曾任始興王咨議;父親虞荔,于陳朝太子中庶子,都有很高的名望。虞世南的叔父虞寄,在陳朝官至中書侍郎,因沒有子嗣,虞世南便過繼給虞寄為子,因此他取字伯施。虞世南生性沉靜寡欲,意志堅定,努力學(xué)習(xí),年少時與兄長虞世基一起在著名文學(xué)家顧野王的門下讀書,受學(xué)十多年,他勤奮努力精思不懈,有時十幾天不洗臉不梳頭。他擅長寫文章,曾師法著名文學(xué)家徐陵,徐陵也認(rèn)為虞世南得到了自己的真髓。與他同郡的和尚智永是王羲之的七世孫,擅書法,虞世南拜智永為師,深得王羲之書法真?zhèn)鳎纱嗣暩蟆?/p>
陳文帝天嘉二年(561年),虞世南的父親虞荔去世,當(dāng)時虞世南還年幼,因悲哀過度瘦損得幾乎承受不住喪服。陳文帝知道虞荔的兩個兒子博學(xué),常從宮中派使者到他們家里去扶助衛(wèi)護(hù)他們。到了守喪期滿除服,虞世南被召為建安王法曹參軍。他的叔父虞寄被晉安太守陳寶應(yīng)捕獲,遠(yuǎn)在閩、越一帶,虞世南雖然已除去喪服,卻還是布衣蔬食。到天嘉五年(564年),陳寶應(yīng)戰(zhàn)敗,虞寄得以生還,才令虞世南脫去布衣食肉。
陳后主至德元年(583年),除任西陽王友。開皇九年(589年),陳朝滅亡后,虞世南與虞世基一起到隋朝京師長安,兄弟二人都名重一時,當(dāng)時的人把他們比作西晉的陸機(jī)與其弟陸云。當(dāng)時隋煬帝楊廣還是晉王,聽到他們的名聲,楊廣與秦王楊俊征召的文書一起送到,虞世南以母親年老為借口,堅決推辭,楊廣命令使者去追他們。大業(yè)元年(605年),虞世南接連被授為秘書郎,升遷為起居舍人。與虞綽、庾自直共撰《長洲玉鏡》。同年,因母親去世而守喪。當(dāng)時虞世基在當(dāng)朝非常顯貴,妻子穿衣都模仿王者,虞世南雖然同他們住在一起,卻清貧節(jié)儉,不改變自己的性情。江都之變后,虞世南隨宇文化及到聊城。武德二年(619年),宇文化及兵敗被斬,虞世南又被竇建德抓獲,竇建德任命他為黃門侍郎。