Новая структура выделялась из состава НКВД ввиду своей специфики и с целью повышения эффективности контрразведывательной деятельности. Начальником СМЕРШа стал комиссар госбезопасности 2 ранга В.С. Абакумов, который напрямую подчинялся комиссару обороны Союза И.В. Сталину.

Оперативники занималось фильтрацией военнопленных (около 90% контингента вернулось в свои части для дальнейшего прохождения службы) и очищением прифронтовой полосы от подозрительных элементов, розыском и ликвидацией вражеских разведгрупп и местных банд.
Дискурс о внесудебных расправах и расстрелах на месте не соответсвует действительности, поскольку контрразведка не обладала соответствующими полномочиями. Круг её деятельности ограничивался следственными действиями, после которых дела передавались в трибунал или другие судебные органы.

«Особисты», то есть сотрудники особых отделов, выполняли надзорные функции в армейских частях и соединениях. СМЕРШ провёл 186 радиоигр, нацеленных на дезинформацию противника о планах советского командования, выявление вражеской агентуры и защиту своей за линией фронта.

Служба контрразведчиков была опасна и трудна, а отсюда коротка. Считается, что средний срок её прохождения до выбытия по причине смерти или ранения составлял 2−3 месяца. Немецкая разведка с середины войны начала готовить по несколько тысяч агентов в год, которые, естественно, не хотели сдаваться при провале. Но стоит понимать, что погони со стрельбой и трупами — возможный апофеоз работы СМЕРШа, которому предшествовали розыск и напряжённая аналитическая работа. Победить врага в лице Абвера и его пособников нужно было умом, и к концу войны эффективность немецких спецслужб стремилась к нулю.

В массовом сознании представление об органах СМЕРШа создано практически исключительно книгой В.О. Богомолова «В августе 44-го («Момент истины»)" и одноименной экранизацией М.Н. Пташука. приобретают налёт «документальности» за счёт введения в сюжет документации, пусть и с изъятием секретной служебной информации. Действительность отражается в этих произведениях с высоким уровнем достоверности, за исключением, пожалуй, наличия «крота"-шифровальщика в штабе фронта. Вражеский агент не имел никаких шансов занять эту высокую должность, поскольку перед назначением кандидатов пристально проверял тот же СМЕРШ.

По уровню популярности советская контрразведка может сравниться с современными, что свидетельствует о её успешности. И это действительно так: с момента создания СМЕРШа ни один из планов советских военных операций не попал в Берлин, зато немецкие постоянно становились известными и срывались. СМЕРШ оправдал грозное название в полной мере.