> Я как-то вёл даже отдельный файл с изменениями и всё равно что-то забывал и упускал из виду

Большинство, наверное, так и делает.
У себя завёл папку и копирую в неё модифицированные файлы с сохранением путей, ну и там же лежит файл с десятком-полтора команд, которые в памяти не удержать да и не за чем. Всегда понятно, откуда и куда, плюс синхронная смена каталогов в файловом менеджере и программа сравнения файлов под рукой.
Репозитории - это файлы в /etc/apt/sources.list.d, есть список дефолтных пакетов (после установки системы) и в любой момент можно сравнить с текущим. Если компилю что-то сам, то кладу в ~/.local/bin или по-человечески опакечиваю и кладу в локальный репозиторий.
Поначалу требует некоторых усилий, но вроде вышло всё прозрачно.
Единственное, что забывал пару раз, - сдампить базу dconf, приходилось заново пробегаться по настройкам.