Как можно извлечь точки, которые образуют выпуклую оболочку трехмерного многоугольника в Matlab, используя функции выпуклой оболочки?

Я не уверен, что полностью понимаю ваш вопрос. Может быть, если следующее не проясняет ситуацию, вы можете отредактировать свой пост, включив в него имя используемой вами функции MATLAB и фрагмент кода?

Функция convhull в MATLAB действительно возвращает индекс координат в выпуклой оболочке.

В следующем примере (x(k), y(k)) — это координаты. (взято прямо из документа convhull)

xx = -1:.05:1; yy = abs(sqrt(xx));
[x,y] = pol2cart(xx,yy);
k = convhull(x,y);
plot(x(k),y(k),'r-',x,y,'b+')

То же самое, если вместо этого вы используете convexhull (документ convexhull).

x = rand(10,1);
y = rand(10,1);
dt = DelaunayTri(x,y);
k = convexHull(dt);
plot(x,y, '.', 'markersize',10); 
hold on;
plot(x(k), y(k), 'r'); 
hold off;