Я делаю так:
1) Создаёшь над слоем с квадратом чистый слой.
2) Зажав шифт рисуешь кружок (выделение) с радиусом нужного тебе закругления.
3) Заливаешь его любым цветом.
4) расставляешь по углам квадрата 4 кружка так (кружок каждый на отдельном слое), чтобы они лежали на углах квадрата. Слепляешь эти 4 кружка.
5) Выделяешь и заливаещь пространство между кругами так, чтобы получился квадрат с плавными краями. Вот и всё) Возможно непонятно чутка, показать бы...
