Otra de las atracciones importantes de Pyay son las Grutas de Atauk. Se necesitan casi noventa minutos de coche para llegar al embarcadero desde el que se inicia la visita. La entrada (con el trayecto en barco incluido) se compra en una pequeña taquilla a la orilla del río, no fácil de descubrir para el que viaje solo. Los barcos son de madera y como una extraña cortesía con los extranjeros (¡Qué mayor placer que compartir un barco con los locales!) a veces asignan uno para un grupo extranjero, aunque sólo sean dos o tres personas.

El nombre de las Grutas Atauk se traduce al español como las Grutas de los Impuestos, recuerda que fueron construidas por los funcionarios encargados de recoger los impuestos de la aduana birmano-británica en el río en el siglo XIX, que cuando no estaban ocupados con esa labor, pasaban su tiempo tallando Budas en los precipicios de la montaña. Las grutas propiamente dichas son una serie de conjuntos de estatuas de Buda, en diferentes posiciones y de diferentes tamaños, cinceladas en la pared rocosa de una colina situada a  la orilla del río Irrawaddy.

 Algunas de esas grutas sólo pueden observarse desde el río. De hecho, apenas se abandona el embarcadero ya surgen los primeros conjuntos de esculturas excavados sobre el acantilado. Otros grupos de esculturas se van sucediendo hasta llegar al embarcadero, justo al pie del camino principal que conduce subiendo la montaña (una subida suave) a las grutas más espectaculares y más allá al templo.

La composición iconográfica más frecuente consiste en grupos de unos 10 budas tallados en una parte de la montaña. Cada una de las imágenes está tallada de forma individual, formando un pequeño nicho en la roca, a veces bordeada con un sencillo marco. En las primeras grutas que se ven abundan las representaciones de Buda sentado o de pie. Muchas veces se repiten las mismas figuras sin mostrar una narración religiosa sino más bien un puro homenaje al santo maestro. En algunas ocasiones, en el centro de ese grupo de esculturas, hay una imagen de mayor tamaño.

Más cerca del templo, hay un par de conjuntos de casi 50 esculturas distribuidas en torno a grandes imágenes de Buda reclinado. En ellas se ha aprovechado cada porción de roca para recrear un homenaje a Buda.

El camino al templo permite contemplar con detenimiento las más bellas figuras, algunas desgraciadamente muy deterioradas, y ver a los numerosos peregrinos, con sus ofrendas de flores, rindiendo homenaje a Buda.

En la cima de la colina, el templo, con su pequeña pagoda dorada, está habitualmente lleno de peregrinos, que aprovechan el lugar sagrado para descansar un poco y realizar nuevas ofrendas a los budas.