Детские годы Сименона отравлены размолвками, возникающими часто в семье. Они вызваны были несхожестью характеров родителей и материальными трудностями. Мать любой ценой стремится вырваться из бедности, попрекает за нее отца и требует, чтобы муж застраховал свою жизнь и обеспечил семью. Но покладистый во всем Дезире Сименон отказывается, и лишь когда он умрет в возрасте 45 лет, станет известно, что он болел грудной жабой и потому страховой врач отказался выдать ему свидетельство о здоровье. Дезире, зная, что его дни сочтены, скрывал все от семьи и как всегда был с виду весел и беззаботен. Слишком поздно раскрытая тайна отца потрясла Жоржа. Он навсегда запомнит, что внешний облик и поведение людей часто не отражают их душевного состояния. Со временем он передаст это понимание, своему литературному герою — комиссару Мегрэ, — и тот включит его в свод основных правил, которыми будет руководствоваться при расследовании самых запутанных преступлений. Сименон, очень привязанный к отцу, впоследствии указывал, что когда он создавал Мегрэ, то бессознательно придал ему некоторые черты Дезире.
Яркие впечатления связаны у маленького Жоржа с воскресными днями, посещениями совершенно чуждых семейных кланов — Сименонов, со стороны отца, и Брюлей, со стороны матери. «Среди них, — рассказывает Сименон, — имелись все представители рода человеческого. Мне оставалось только следить за поведением столь разнообразных типов. Когда я начал писать, то нашел среди них немало персонажей для своих романов».