Најмлађи од петорице браће, Полок се родио у градићу [[Коди (Вајоминг)|Коди]], Вајоминг, као дете фармера и домаћице и одрастао у [[Аризона|Аризони]] и [[Калифорнија|Калифорнији]]. Док се је са породицом селио у потрази за бољим животом, мајка се надала да јој синови неће завршити као припрости фармери попут њеног мужа. Савременици су касније за Полоков проблематичан карактер - неконвенционално облачење, пуштање дуге косе, која није била примерена добрим младићима у то време, и стално опирање ауторитетима - разлоге налазили у мајчином утицају. Наиме, иако је сањала да ће јој синови постати уметници, није им поклањала нити довољно времена, нити мајчинске љубави. Осим тога, како су се селили, Џексон ни у једном граду није стигао наћи добре пријатеље. У првих десет година његовог живота, породица се селила десет пута, сваки пут у други град.
