Była żoną stolnika inflanckiego, kobietą podobno wyjątkowo piękną, aktywną i zaradną. Z powodzeniem administrowała majątkiem męża, prowadziła działalność dobroczynną, radość życia łączyła z żarliwą pobożnością.
         Jest autorką jednego tomiku wierszy: Pieśni sobie śpiewane. Wacław Borowy nazwał ów zbiorek "najdziwniejszą może książką w literaturze polskiej XVIII wieku". Ogłoszone w 1776 roku Pieśni odcinają się całkowicie od głównego nurtu literatury swoich czasów. Chociaż mamy rozkwit epoki stanisławowskiej, wiersze Benisławskiej tkwią jeszcze w dawnej, barokowej formacji kulturowej.
         Bardzo duży wpływ na kształt książki miała lektura wielkich mistyków hiszpańskich z Teresą z Avili na czele (najwięcej cytatów pochodzi mimo wszystko z Pisma świętego w przekładzie księdza Jakuba Wujka; wyraźne są również ślady Psałterza dawidowego Jana Kochanowskiego). Modlitwy Benisławskiej przesycone są dusznym klimatem oblubieńczej miłości, która prowadzi do całkowitego oddania się, unicestwienia własnej woli, w woli bożej. Zdarzają się w nich momenty słabe: monotonne wyliczania i dłużyzny (szczególnie w rozwlekłych dwóch pierwszych księgach), lecz dominuje język poukładany, wyrafinowany artystycznie.
         W zasadzie dopiero Borowy wyniósł zapomnianą autorkę Pieśni na parnas literatury XVIII wieku. Bardzo pochlebny rozdział poświęcony Benisławskiej w jego fundamentalnej książce O poezji polskiej w wieku XVIII wywołał niemałą burzę w światku historyków literatury "Czy poezja, choćby wzruszająca i odznaczająca się nawet bogactwem wyrazu, jeśli operuje środkami, elementami pojęć i wyobrażeń i stylem poprzedniego wieku, może w ogóle uchodzić istotnie za wartościową i w jakich dodatkowych warunkach?" - zastanawiała się Maria Rzeuska. "Ubożuchna, tępa staroświecka treść zaczyna w oczach Borowego urastać do godności chluby kultury i poezji polskiej 18 w." - pisał Stefan Żółkiewski, a Jan Kott wtórował: "Szukano w poezji stanisławowskiej [...] religianctwa, irracjonalizmu i pesymizmu [...]. Odkryto mistyczną bigotkę Benisławską". Mimo tych kontrowersji było już oczywiste, że Konstancji Benisławskiej nie można usunąć z historii literatury drugiej połowy XVIII wieku.