Када је Брендон је имао осам година, његов отац је умро изненада од отока мозга (Cerebral edema). После очеве смрти, његова породица (укључујући и његову млађу сестру, Шанон Ли) се преселила назад у Сједињене Државе. Кратко су живели у родном граду њихове мајке у [[Сијетл]]у, Вашингтон, а затим у Лос Анђелесу, где је Ли одрастао у богатој области Ролинг Хилс.
Похађао је средњу школу Чедвик, али је затражено да jeје напусти због непоштовања наредбе - прецизније, због вожње низ школско брдо уназад, само три месеца пре дипломирања. Није познато када тачно, али је кратко време присуствовао Бишоп Монтгомери гимназији, која се налази у Торенсу, Калифорнија. Добио је диплому Општег Образовног Развоја у 1983, са 18 година, а онда је отишао на Емерсон колеџ у [[Бостон]]у, [[Масачусетс]], где је студирао у позоришту. После годину дана, Ли се преселио у [[Њујорк]], где је узимао часове глуме у чувеном Ли Страсберг позоришном и филмском институт и био део америчког новог театра група коју је основао његов пријатељ Џон Ли Хенкок. Највећи део знања о борилачким вештинама Ли је научио од најболјих студената његовог оца - Дена Иносантоа и Ричарда Бустилоа.
