يختلف المؤرخون في أصل عائلة بربروس إلى عدة أقوال،
فيشير بعض المؤرخين الغربيين والعرب إلى أن أصل العائلة من أروام جزيرة ميديلِّي
وأن خير الدين وعروج أسلما لاحقاً بعد أن كانا يعملان
في البحر ودخلا في خدمة السلطان محمد الحفصي في تونس.
وتشير مصادر أخرى إلى أنهم من أصل ألباني،
إلا أن أغلب المصادر تشير إلى أنهم من أصل تركي،
وذلك ما جاء في مذكرات خير الدين بربروس،
فبعد أن فتح السُلطان العثماني محمد الفاتح جزيرة ميديلِّي
أمر بإبقاء حامية عسكرية فيها وكلفها بالمحافظة على القلعة
وترك السُلطان حرية البقاء لمن يرغب في ذلك من الجنود،
وكان غالبية من الذين رغبوا بالبقاء من منطقة الأناضول والروملي،
فكان ممن استوطن في هذه الجزيرة أحد فرسان السباهية ويدعى "يعقوب آغا"
ووهبت له أرض إقطاع من قبل السلطان الفاتح في منطقة "واردار" المجاورة لسلانيك،
وبعد أن استقر يعقوب في الجزيرة وانتظمت أمور حياته
تزوج إحدى بنات أهالي الجزيرة وقد ذكر هذا خير الدين بربروس في مذكراته،
إلا أن هنالك من ذكر أن أمه أندلسية،
وهناك أيضاً قول أنها امرأة مسيحية من ميتيليني وأرملة راهب مسيحي،
والتي انجبت له أربعة أبناء: إسحاق وعروج وخضر
)تذكر بعض المصادر أن اسمه خسرف) وإلياس