Di masa depan yang misterius, organisme kristal bernama Gems menghuni dunia yang telah dihancurkan oleh enam meteor. Setiap Gem diberi peran untuk melawan Lunarian, spesies yang menyerang mereka untuk menghancurkan tubuh mereka dan menggunakan mereka sebagai hiasan.
Phosphophyllite, juga dikenal sebagai Phos, adalah seorang Gem muda dan rapuh yang bermimpi membantu teman-teman mereka dalam upaya perang. Sebaliknya, mereka diminta untuk menyusun ensiklopedia karena kondisi mereka yang rapuh. Setelah dengan berat hati memulai tugas ini, Phos bertemu Cinnabar, seorang Gem cerdas yang telah diturunkan untuk berpatroli di pulau terpencil di malam hari karena racun korosif yang dihasilkan tubuh mereka. Setelah melihat betapa tidak bahagianya Cinnabar, Phos memutuskan untuk mencari peran yang dapat dinikmati oleh kedua Gem yang ditolak itu. Houseki no Kuni mengikuti upaya Phos untuk menjadi berguna dan melindungi sesama Gems mereka.
