Выбор цвета в openGL

есть несколько проблем с примером.

Во-первых, вы не очищаете буфер цвета и глубины при щелчке мышью (это приводит к тому, что сцена с цветными полигонами смешивается со сценой с текстурированными полигонами - и тогда это не работает). вам нужно позвонить:

GL11.glClear(GL11.GL_COLOR_BUFFER_BIT | GL11.GL_DEPTH_BUFFER_BIT);

Во-вторых, наверное, плохая идея использовать материалы при выборе цвета. Я не знаком с классом GLMaterial, но он может включить GL_COLOR_MATERIAL или что-то еще, что изменяет окончательный цвет, даже если освещение отключено. Попробуй это:

if(!inPickingMode) { // === add this line ===
    // activate new material and texture
    currMtl = t.materialID;
    mtl = (materials != null && materials.length>0 && currMtl >= 0)? materials[currMtl] : defaultMtl;
    mtl.apply();
    GL11.glBindTexture(GL11.GL_TEXTURE_2D, mtl.textureHandle);
} // === and this line ===

Далее, и это не связано с выбором цвета, вы вызываете glBegin() слишком часто без веской причины. Вы можете вызвать его в render() перед циклом рисования треугольника (но это не должно изменить внешний вид результата):

GL11.glBegin(GL11.GL_TRIANGLES);
// draw triangles until material changes
for ( ; i < m.triangles.length && (t=m.triangles[i])!=null && currMtl == t.materialID; i++) {
        drawTriangle(t, i, inPickingMode);
}
GL11.glEnd();

--- теперь я отвечаю немного дальше исходного вопроса ---

Дело в выборе цвета заключается в том, что рендерер имеет только ограниченное количество битов для представления цветов (например, всего 5 бит на канал), поэтому вам нужно использовать цвета, для которых эти биты не установлены. Это может быть плохой идеей делать это на мобильном устройстве.

Если ваши объекты достаточно просты (могут быть представлены, скажем, сферой для выбора), может быть хорошей идеей использовать трассировку лучей для выбора объектов. Это довольно просто, идея состоит в том, что вы берете обратную матрицу модели-проекции и преобразуете точки (mouse_x, mouse_y, -1) и (mouse_x, mouse_y, +1) по ней, что даст вам положение мыши в точке. ближней и дальней плоскости обзора, в пространстве предметов. Все, что вам нужно сделать, это вычесть их, чтобы получить направление луча (начало находится в ближней плоскости), и вы можете выбрать свои объекты, используя этот луч (пересечение гугл-луча и сферы).

float[] mvp = new float[16]; // this is your modelview-projection
float mouse_x, mouse_y; // those are mouse coordinates (in -1 to +1 range)
// inputs

float[] mvp_inverse = new float[16];
Matrix.invertM(mvp_inverse, 0, mvp, 0);
// inverse the matrix

float nearX = mvp_inverse[0 * 4 + 0] * mouse_x +
              mvp_inverse[1 * 4 + 0] * mouse_y +
              mvp_inverse[2 * 4 + 0] * -1 +
              mvp_inverse[3 * 4 + 0];
float nearY = mvp_inverse[0 * 4 + 1] * mouse_x +
              mvp_inverse[1 * 4 + 1] * mouse_y +
              mvp_inverse[2 * 4 + 1] * -1 +
              mvp_inverse[3 * 4 + 1];
float nearZ = mvp_inverse[0 * 4 + 2] * mouse_x +
              mvp_inverse[1 * 4 + 2] * mouse_y +
              mvp_inverse[2 * 4 + 2] * -1 +
              mvp_inverse[3 * 4 + 2];
float nearW = mvp_inverse[0 * 4 + 3] * mouse_x +
              mvp_inverse[1 * 4 + 3] * mouse_y +
              mvp_inverse[2 * 4 + 3] * -1 +
              mvp_inverse[3 * 4 + 3];
// transform the near point

nearX /= nearW;
nearY /= nearW;
nearZ /= nearW;
// dehomogenize the coordinate

float farX = mvp_inverse[0 * 4 + 0] * mouse_x +
             mvp_inverse[1 * 4 + 0] * mouse_y +
             mvp_inverse[2 * 4 + 0] * +1 +
             mvp_inverse[3 * 4 + 0];
float farY = mvp_inverse[0 * 4 + 1] * mouse_x +
             mvp_inverse[1 * 4 + 1] * mouse_y +
             mvp_inverse[2 * 4 + 1] * +1 +
             mvp_inverse[3 * 4 + 1];
float farZ = mvp_inverse[0 * 4 + 2] * mouse_x +
             mvp_inverse[1 * 4 + 2] * mouse_y +
             mvp_inverse[2 * 4 + 2] * +1 +
             mvp_inverse[3 * 4 + 2];
float farW = mvp_inverse[0 * 4 + 3] * mouse_x +
             mvp_inverse[1 * 4 + 3] * mouse_y +
             mvp_inverse[2 * 4 + 3] * +1 +
             mvp_inverse[3 * 4 + 3];
// transform the far point

farX /= farW;
farY /= farW;
farZ /= farW;
// dehomogenize the coordinate

float rayX = farX - nearX, rayY = farY - nearY, rayZ = farZ - nearZ;
// ray direction

float orgX = nearX, orgY = nearY, orgZ = nearZ;
// ray origin

И, наконец, совет по отладке: попробуйте выполнить рендеринг с параметром inPickingMode, установленным в true, чтобы вы могли видеть, что вы на самом деле рисуете на экране. Если вы видите текстуру или освещение, значит, что-то пошло не так.