Не подходящий, не соответствующий каким-либо требованиям.

Древние русичи верили, что дом и двор охраняет домовой. Он является их тайным хозяином, никогда не показываясь настоящим хозяевам — людям.

В римской мифологии богов-хранителей очага звали пенатами.

Домовые были капризны. Если им не нравилась покупка, будь то лошадь или посуда, они изводили их: посуда билась, лошадь заболевала и вскоре погибала.

«Не ко двору пришлось», — говорили в этом случае, что означало «не понравилось домовому».

Давно уже никто не верит в домовых, а фраза «не ко двору» живёт в нашем языке и употребляется в значении «неподходящий».

Но из семейных разговоров знаю, что он [дядя] был человек скромный, хотя простоватый, и что дедушка его не любил. Вообще в своей семье он был, как говорится, не ко двору.

Михаил Евграфович Салтыков-Щедрин. «Пошехонская старина»