Ћалдовић је рођен на [[Звездара (Београд)|Звездари]], као друго дете у породици возача при полицији и домаћице. Имао је двојицу браће. Средином 1960-их породица се одселила у [[Земун]], у насеље „Марија Бурсаћ“. У то време је на упознао Љубомира Магаша, са којим је постао нераздвојан. Први пут је ухапшен 1967. године заједно са Магашем и Зораном Милосављевићем „Робијом“, под оптужбом за силовање. Због недостатка доказа, Ћалдовић и Милосављевић су пуштени на слободу, а Магаш је осуђен на затворску казну. Две године касније Ћалдовић се оженио. У марту 1971. године са Магашем и Дачом је отпутовао у [[Италија|Италију]], у [[Милано]].
