Музей "Мир камня" находится в старой части города Барнаула рядом с Государственной Филармонией Алтайского края, напротив Алтайского государственного краеведческого музея и музея "Горная аптека".

Расположен в здании бывшего Инструментального магазина Барнаульского сереброплавильного завода, которое является памятником архитектуры начала XIX века. Вход в музей с улицы Ползунова через въездные ворота во внутренний двор.