Милле родился в Саутгемптоне и начал учиться рисованию девяти лет от роду. В 1838 году, когда стали очевидными его способности, семья перебралась в Лондон. В возрасте 11 лет Милле поступил в Королевскую Академию художеств, став самым молодым студентом за всю историю Академии. К 15 годам он уже прекрасно владел кистью, в 1846 г. явился перед публикой с исторической картиной «Писарро берет в плен перуанских инков», которую критика признала лучшей на всей академической выставке того года, а в следующем году получил золотую медаль за картину «Нападение колена