Il concetto di giardino zen viene considerato un mito da molti importanti esperti giardinieri giapponesi e da molti esperti di buddismo. Essi sostengono che si tratta di una creazione occidentale della fine del XX secolo, che non ha niente a che fare con la tradizione del giardinaggio giapponese. L'estetica del karesansui o "giardino secco" non è affatto unica dei giardini che si trovano vicino ai templi zen. I giardini secchi si possono trovare fuori da case, ristoranti e alberghi. Similarmente, i giardini attorno ai templi zen possono avere molti stili differenti, e i giardini secchi sono solo uno di questi.
Il termine "giardino zen" apparve per la prima volta nel libro del 1935 di Loraine Kuck, intitolato One Hundred Kyoto Gardens. Il primo uso del termine in lingua giapponese non apparve su stampa fino al 1958. Ciò può implicare che qualche studioso giapponese possa aver semplicemente seguito l'uso occidentale, adottando il concetto in voga di "giardino zen", perché già utilizzato dagli stranieri.
Il libro Themes, Scenes & Taste in the History of Japanese Garden Art di Wybe Kuitert, pubblicato nel 1988, contesta fortemente la correlazione fra Zen e karesansui:
« Kuck confonde la sua interpretazione del giardino Zen (XX secolo) storicamente determinata, con un antico giardino appartenente ad una cultura completamente diversa. Questo falsa la sua interpretazione.
... (il giardino medievale) trovava la sua collocazione nei templi Zen e nelle residenze dei guerrieri perché ne aumentava il prestigio culturale. Che la sua valutazione fosse determinata da elementi religiosi, piuttosto che di 'forma' è discutibile. »
Inoltre Kuitert parla del giardino Zen da una prospettiva Buddista: "(dal punto di vista di Dogen) il miglior giardino per rappresentare il Sermone del Buddha sarebbe il nulla. O perlomeno non sarebbe sicuramente stato un giardino esteticamente gradevole, il quale avrebbe solamente distratto da una reale ricerca dell'Illuminazione." Kuitert si mostra ancora più critico traducendo i commenti a Toh-ji di un monaco dell'era Muromachi: “Chi pratica lo Zen non deve costruire giardini. In una sutra è detto che il Bodhisattva Makatsu, volendo meditare, per prima cosa abbandonò totalmente le cose di questo mondo, tanto il far affari e ottenere profitti quanto il coltivare piante..."
L'opinione che i monaci Zen usino i giardini per la meditazione è smentita dal fatto che in Giappone i monaci Zen meditano quasi sempre al chiuso, sia di fronte ad un muro (Soto Zen) sia di fronte al centro della stanza (Rinzai Zen), e non di fronte ad un paesaggio. Dunque le foto di monaci giapponesi che meditano su giardini di ghiaia sono verosimilmente delle messe in scena.