آنچلوتی در سال 1959 در رجیولو به دنیا آمد. او در دهه 60 در شمال ایتالیا بزرگ شد. کارلو ارمینیو که بعد از پدربزرگش به این نام نامیده شد، شاهد تقلای هرروزه پدرش برای کسب درآمد بود.
آنچلوتی در گفتوگو با روزنامه ایتالیایی «لا ریپابلیکا» با یادآوری آن دوران گفت: گیسپه، پدرم یک کشاورز مستأجر بود. او در مزرعهای به وسعت حدود 8 هکتار گندم، ذرت، چغندر قند، انگور با 10 گاو شیرده و چند مرغ و خروس کار میکرد. او یک تراکتور فیات 21 اسب بخار و یک ماشین درو داشت.
کارلو از دورانی که در خانه پدریاش گذراند، چیزهای زیادی یاد گرفته است؛ یعنی زمانی که اولین لگدش را به توپ زد او با فرهنگ کار سخت آشنا شد.
وی در این باره گفت: اگر به خاطر تلاشهای پدر و مادرم نبود، اکنون هیچ چیز نبودم. من شاهد ایثاری بودم که آنها بدون ماشین با کار کردن در مزرعه انجام میدادند. همه آن کارها با دست انجام میشد. هر سال هرچیزی را که کاشته بودیم، درو میکردیم. برای ادامه دادن به صبر و قدرت نیاز داشتیم. من هنر آرامش را آنجا آموختم. زمانی که به عنوان بازیکن مصدوم شدم، به کمکم آمد و در زمان سرمربیگری بارها و بارها به من کمک کرد.