Название толковалось по-разному, в народе было мнение, что оно происходит от слова «jõhvikas» (по-эстонски «клюква»), однако лингвистического подтверждения этому нет. В 1930-х годах краевед Х. Курба предложил связать его со словом «jõevesi» (в переводе «речная вода») из-за находившегося в центре города родника, который дал название одному из притоков Пюхайыэ. Финский лингвист Л. Кеттунен решил взять за основу слово «jõhv» (в переводе «конский волос»), что на сегодняшний день является наиболее признанной версией. Также возможно, что происхождение названия Йыхви связано со словом «jõhvuss» («волосатик»)[2].
Первое упоминание о населенном пункте отмечено в 1241 году в Датской поземельной книге (англ.) как Gevi (позже Jewe)[6]. Говорится, что деревня состоит из 20 сох (соха — условная мера земли, являвшаяся единицей поземельного налогового обложения), и принадлежит датскому королю[7].
В конце XVI века Йыхви переходит под контроль Швеции, а позже по Ништадтскому мирному договору становится частью Российской империи до 1918 года. В России населённый пункт официально именовался Иевве, входил в Везенбергский уезд Эстляндской губернии и носил статус местечка.