Как я могу подсчитать количество строк фактических комментариев?

Для этого мы можем использовать полудокументированную утилиту mtree.

Возьмем, к примеру, файл .m, содержащий определение самого класса mtree.

dbtype mtree дает (это только начало):

1     classdef mtree
2     %MTREE  Create and manipulate M parse trees
3     %   This is an experimental program whose behavior and interface is likely
4     %   to change in the future.
5     
6     % Copyright 2006-2016 The MathWorks, Inc.
7     
8         properties (SetAccess='protected', GetAccess='protected', Hidden)
9             T    % parse tree array

Теперь, если мы вызовем утилиту mtree на себя и покажем результат в виде текста,

tree = mtree('mtree.m','-file');
tree.dumptree()

вот что мы получаем (опять же, только начало):

  1  *:  CLASSDEF:   1/01 
  3     *Cexpr:  ID:   1/10  (mtree)
  4     *Body:  PROPERTIES:   8/05 
  5        *Attr:  ATTRIBUTES:   8/16 
  6           *Arg:  ATTR:   8/26 
  7              *Left:  ID:   8/17  (SetAccess)
  8              *Right:  CHARVECTOR:   8/27  ('protected')
  9           >Next:  ATTR:   8/49 
 10              *Left:  ID:   8/40  (GetAccess)
 11              *Right:  CHARVECTOR:   8/50  ('protected')
 12           >Next:  ATTR:   8/63 
 13              *Left:  ID:   8/63  (Hidden)
 14        *Body:  EQUALS:   9/09 

Как видно из приведенного выше, комментарий и пустые строки (2-7) не отображаются слева от «дробей» в выводе. Поэтому, если мы найдем способ получить «числители», мы получить номера строк, содержащих фактический код.

Нам повезло, так как существует метод, который дает нам эти числители - lineno! Поэтому, если мы вызовем его и применим к выводу unique, мы получим ровно одну копию каждой строки:

uLines = unique(tree.lineno);
nCodeLines = numel(uLines);

Это дает значение 269 для nCodeLines в R2018b. Если вы готовы предположить, что последняя строка в файле всегда является строкой кода (а не комментарием или пробелом), вы можете просто вычесть nCodeLines из последнего элемента uLines, чтобы получить количество строк комментариев (121 в этом случае). В противном случае используйте другой метод для подсчета общего количества строк (пример).

Осталось написать это как функцию и скормить ей папку .m файлов :)

Легко получить комментарии, которые не просто разделяют вещи, исключая все, что не содержит текста: az или AZ. Таким образом, %a является «информативным комментарием», а %----- нет.

Теперь, чтобы отфильтровать код, я считаю, что лучше всего рассматривать %text text как комментарий, а остальное как код: комментарий — это место, где есть пробел между двумя фрагментами текста. Фрагмент текста может быть чем угодно, что содержит букву, или он может быть ограничен элементами, состоящими только из букв и знаков препинания (в одном случае a=5 — это отдельный фрагмент текста, в другом — это отдельный фрагмент, не являющийся текстом), и вы также должны исключить зарезервированные кодовые слова.

Это, очевидно, не будет работать все время, поскольку текст, содержащий только одно слово, также является информативным комментарием, скажем, у вас может быть комментарий, говорящий %randomize. Однако учтите следующее: randomize может быть комментарием, говорящим о том, что приведенный ниже материал выполняет рандомизацию (скорее всего), или это может быть функция, которая выполняет рандомизацию без каких-либо параметров и выдачи каких-либо результатов (например, злоупотребляя отражением, чтобы действительно что-то сделать). Невозможно разобрать эти два варианта — синтаксический анализатор должен будет запускать код построчно и проверять, работает ли эта строка как-либо или выдает ошибку для работы в таких сценариях.

Обратите внимание, что код не будет работать напрямую и не является оптимальным, но исправить его должно быть достаточно просто.

isC = parseComment(commentText)
splitText = split(commentText, ' '); % split by whitespace.
isValidText = false(length(splitText),1);
if (length(isValidText) == 1)
   isC = false;
   return
end
for i=1:length(splitText)
   % find if this "word" is valid non-code text.
   if (contains(splitText(i), [a-z])) % Fix this condition, should suitably check if the thingy is a word in a way you want it.
      if ~isReservedCodeWord(splitText(i)) % here you should exclude if, for, while and so on.
         isValidText(i) = true;
      end
   end
end
%checking of parts is complete, check if the string has 2 adjacent "valid text" parts.
isC = any(isValidText(1:end-1) & isValidText(2:end));

Отвечая на мой собственный вопрос здесь, так как я пошел в другом направлении, чем любой из ответов.

Мне нужна была оценка, не обязательно точное число. Меня бы устроила автоматизированная система, даже если бы она неправильно классифицировала некоторые строки. Но я не смог найти достаточно простого способа отличить код от текста, поэтому я пошел более ручным путем.

Я просто grep отредактировал все строки комментариев, а затем перемешал порядок строк вывода, чтобы я мог просмотреть последние 50 или около того строк на своем экране и вручную подсчитать соотношение полезных комментариев к прокомментированному коду. Это дает мне приблизительную оценку, а умножая ее на количество строк комментариев, я получаю оценку количества полезных строк комментариев.

Вывод таков, что у нас есть около 36000 строк почти полностью недокументированного кода, с которым можно поиграться. Ура.

Чтобы изменить порядок строк, я использовал файл shuffle.bat, который нашел здесь Как произвольно изменить порядок строк в текстовом файле с помощью пакетного файла

Так что я остановился на type *.m | grep % | shuffle.bat

И этого было достаточно для меня.

Предложение Dev-il использовать mtree было бы очень полезным, если бы mtree можно было заставить выводить количество строк анализируемого, исполняемого кода. Затем я мог бы grep удалить строки комментариев, убрать % в начале, а затем использовать mtree для подсчета того, что является исполняемым кодом, а что, скорее всего, текстом. К сожалению, mtree будет анализировать что угодно и на самом деле не различает то, что в конечном итоге имеет смысл как код, и то, что не имеет смысла.