ابن خلدون در سال 1332 در تونس متولد شد. محله خلدونیه در تونس هنوز تقریباً بدون تغییر باقی مانده است و در آن، خانه‌ای است که گمان می‌رود در آن متولد شده است. همانطور که ابن خلدون در زندگی نامه خود (التعریف بی ابن خلدون) نقل می کند، این خانواده ادعا می کردند که از خلدون، که اهل عربستان جنوبی بود، هستند و در سال‌های اولیه تسخیر اعراب به اسپانیا آمده و در کارمونا ساکن شده بودند. خانواده متعاقباً به سویا (سویا) نقل مکان کردند، نقش مهمی در جنگ‌های داخلی قرن نهم داشتند و مدت‌ها در میان سه خانه اصلی آن شهر به حساب می‌آمدند. در طول چهار قرن بعد، ابن خلدون‌ها به‌طور متوالی پست‌های عالی اداری و سیاسی را تحت سلسله‌های اموی، الموروی و آلموحد بر عهده داشتند. سایر اعضای خانواده در ارتش خدمت کردند و تعدادی در نبرد الذلاقه (1086) کشته شدند که به طور موقت تسخیر اسپانیا را توسط مسیحیان متوقف کرد. اما مهلتی که بدین ترتیب به دست آمد کوتاه بود و در سال 1248، درست قبل از سقوط سویا و قرطبه، ابن خلدون ها و بسیاری از هموطنانشان عاقلانه قضاوت کردند که از تنگه جبل الطارق عبور کنند و در سبتا (سیوتای کنونی، منطقه اسپانیایی) فرود آمدند.
در آنجا پناهندگان اسپانیایی از وضعیت اجتماعی-اقتصادی بسیار بالاتری نسبت به مردم محلی آفریقای شمالی برخوردار بودند، و خانواده به زودی برای اشغال پست های اداری پیشرو در تونس فراخوانده شدند. پدر مورخ همچنین به عنوان مدیر و سرباز تبدیل شد، اما به زودی کار خود را به خود اختصاص داد تا خود را به مطالعه الهیات، قانون و نامه ها اختصاص دهد. به قول ابن خلدون:
او در دانش زبان عربی برجسته بود و شعر را در قالب های مختلف آن درک می کرد و به خوبی به یاد دارم که چگونه ادیب ها در مسائل اختلاف نظر او را جویا شدند و آثار خود را به او تحویل دادند.