李綱，字文紀，觀州蓚人也。祖元則，後魏清河太守。父製，周車騎大將軍。
綱少慷慨有誌節，每以忠義自許。初名瑗，字子玉，讀《後漢書·張綱傳》，慕而改之。周齊王憲引為參軍。宣帝將害憲，召僚屬證成其罪，綱誓之以死，終無撓辭。及憲遇害，露車載屍而出，故吏皆散，唯綱撫棺號慟，躬自埋瘞，哭拜而去。
隋開皇末，為太子洗馬。皇太子勇嚐以歲首宴宮臣，左庶子唐令則自請奏琵琶，又歌《武媚娘》之曲。綱自勇曰：“令則身任宮卿，職當調護，乃於宴座自比倡優，進**聲，穢視聽。事若上聞，令則罪不測，豈不累於殿下？臣請遽正其罪。”勇曰：“我欲為樂耳，君勿多事。”綱趨而出。及勇廢黜，文帝召東宮官屬切讓之，無敢對者。綱對曰：“今日之事，乃陛下之過，非太子罪也。勇器非上品，性是常人，若得賢明之士輔導之，足堪繼嗣皇業。方今多士盈朝，當擇賢者居其任，奈何以弦歌鷹犬之才侍側，至令致此？乃陛下訓導不足，豈太子之罪耶！”辭氣凜然，左右皆為之失色。文帝曰：“令汝在彼，豈非擇人？”綱曰：
“臣在東宮，非得言者。”帝奇其對，擢拜尚書右丞。時左仆射楊素、蘇威當朝用事，綱每固執所見，不與之同，由是二人深惡之。會遣大將軍劉方誅討林邑，楊素言於文帝曰：“林邑多珍寶，自非正人不可委。”因言綱可任，文帝以為行軍司馬。劉方承素之意，屈辱綱，幾至於死。及軍還，久不得調。後拜齊王府司馬。未幾，蘇威複令綱詣南海應接林邑，久而不召。綱後自來奏事，威複言綱擅離所職，以之屬吏。綱見善卜者，令筮之，遇《鼎》，因謂綱曰：“公易姓之後，方可得誌而為卿輔。宜早退；不然，有折足之敗也。”尋會赦免，屏居於鄠。