Иносказательно: места ссылки.
Выражение взято из «Уложения о наказаниях», действовавшего в царской России, согласно которому наказание ссылкой в Сибирь имело несколько степеней строгости.
За более тяжёлое наказание преступника отправляли «в отдалённые места Сибири», а за более лёгкое — «в не столь отдалённые места Сибири».
Оборот вошёл в речевой обиход из языка писателей второй половины XIX века.