李迥秀自幼便有英名，祖父和父親都擔任刺史，是世家出身。然而他的母親出身貧賤，連姓什么都不知道，卻是罕見的美女。當她在李家為婢女時，甚得主人寵愛，生下了李迥秀。可能是源于母親的血統，李迥秀也長得眉清目秀，一表人才。他頗有文才，喜歡交友，興起吟詩，不辭斗酒，但絕不因酒亂性，號稱當代第一風雅人物。

武則天時有愛寵張易之。張易之的父親死得早，母親阿臧多年守寡。不想，不甘寂寞的阿臧看上了年輕俊秀的鳳閣侍郎李迥秀，想要與之成親，實際上也就是充當臧氏的面首。則天皇帝對才能、人品、容貌都相當杰出的李迥秀非常有好感。因此，偶爾會召他和他的母親到宮中，給予優厚的待遇。婢女出身的母親，享受如此待遇使李迥秀心中很感激皇上。當他知道皇上要把阿藏嫁給他時，心中非常苦惱。他早有妻妾，但又怕為此事犯違敕之罪，讓宗族及個人蒙受不幸。加上張易之的權力威逼，不得已接受這項敕命。

李迥秀在張易之和女皇的雙重壓力下被迫答應了這門婚事。可是，成親當夜，阿臧滿臉的皺紋、滿頭的白發，還是遠遠超出李迥秀的心理承受能力。他幾近瘋狂，卻無力反抗，只能日日買醉，荒飲無度，終日沉醉，喚之不醒。阿臧和張易之非常不滿，便將李迥秀貶到了衡州擔任刺史。

神龍政變后，張易之被殺，阿臧籍沒入宮，李迥秀也被株連，由衡州刺史貶為衡州長史。