Заниматься пустяками, ерундой.
Уже по звучанию слова «бирюльки» понятно, что это
Действительно, бирюльками для игры могли служить различные предметы небольшого размера (в виде чашечек, шляпок, палочек), которые имеют отверстия или ушки.
Эти предметы высыпаются кучей на стол, а затем играющий должен при помощи специальной палочки с крючком вытаскивать из этой кучи отдельные бирюльки.

Иногда в правилах было условие, чтобы остальные бирюльки при этом не шевелились.
Занятие это для взрослого человека считалось пустым и несерьёзным, поэтому и возникло выражение «играть в бирюльки». Но стоит признать, что, на самом деле, она развивает точность движений и глазомер.

Ведь я пришёл в мастерскую работать, а не сидеть сложа руки да играть в бирюльки.
Михаил Васильевич Новорусский. «Записки шлиссельбуржца»
