Название города происходит от эстонского слова kallas (берег). По-русски поселение раньше называлось «Красная гора», «Красные горы» или «Красный посад», что связано с красным песчаником, характерным для данной местности.
Горами конечно это сложно назвать,высота берегового обрыва не более 8 метров,но всё же,это не наносные песчаные дюны как у нас на северо востоке
В городе находится самое протяженное обнажение девонского песчаника Эстонии. Его размеры: длина 930 м, максимальная высота 8 м (по измерениям 2001 года). Также есть ряд пещер и почвенных изломов.
Переселение води и русских племён на занимаемые городком земли состоялось ещё в XIII—XV веках и в конце XVI и особенно в начале XVII века среди живших на побережье много русских, потомки которых в основном обэстонились. Новую волну переселенцев составили бежавшие от церковной реформы патриарха Никона староверы из-под Новгорода, которые и положили начало современному рыбацкому поселению, основанному в XVIII веке на землях мызы Кокора