неподдерживаемое сканирование, сохранение driver.Value типа []uint8 в тип *[]string

Я реализовал rest api, используя golang, gin и gorp

Employee structure:

type Employee struct {
  Id            int64  `db:"id" json:"id"`
  Firstname string `db:"firstname" json:"firstname"`
  Lastname  string `db:"lastname" json:"lastname"`
  Dob           time.Time `db:"dob" json:"dob"`
  Skills        []string `db:skills json:"skills"`
}

В POST отправка запроса как:

func PostEmployee(c *gin.Context) {
  var emp Employee
  c.Bind(&emp)

  skills, _ := json.Marshal(emp.Skills)

  if emp.Firstname != "" && emp.Lastname != "" {

    if insert, _ := dbmap.Exec(`INSERT INTO employee (firstname, lastname, dob, skills) VALUES (?, ?, ?, ?)`, emp.Firstname, emp.Lastname, emp.Dob, skills); insert != nil {
        emp_id, err := insert.LastInsertId()
    .....
    }
  ......
  }

Это сохранение данных в базу данных mysql работает отлично.

Для получения данных из БД реализован GET запрос

 func GetEmployees(c *gin.Context) {
   var emps []Employee
   _, err := dbmap.Select(&emps, "SELECT * FROM employee")
   log.Println(err)
   if err == nil {
     c.JSON(200, emps)
 } else {
     c.JSON(404, gin.H{"error": "no employee(s) into the table"})
 }

GET запрос не дает никаких данных из базы данных, а log.Println(err) журнал говорит:

 Scan error on column index 4: unsupported Scan, storing driver.Value type []uint8 into type *[]string

Любые идеи?


person Prashant4224    schedule 29.12.2016    source источник
comment
Похоже, что выбранный столбец «навыки» не преобразуется в []строку. Какой тип данных employee.skills в базе данных? Может потребоваться изменить на [] байт или строку в качестве типа навыков в вашей структуре Employee.   -  person Mark    schedule 30.12.2016
comment
В базе данных Skills есть тип varchar(255). @Отметка   -  person Prashant4224    schedule 30.12.2016
comment
Измените Employee.Skills с []string на string   -  person Mark    schedule 30.12.2016
comment
Skills является повторяемым полем, поэтому выбрана []string(slice).Мой образец JSON для POST равен curl -i -X POST -H "Content-Type: application/json" -d "{ \"firstname\": \"Thea\", \"lastname\": \"Queen\", \"dob\": \"2014-10-19T23:08:24Z\", \"skills\": [\"Go\", \"C\",\"Ruby\"] }" http://localhost:9090/api/v1/emps   -  person Prashant4224    schedule 30.12.2016
comment
Код вставляет навыки в виде одной строки (упорядочив навыки в виде json), поэтому я думаю, вам придется выбрать его в одну строку. Я сомневаюсь, что gorp преобразует varchar(255) в фрагмент строк.   -  person Mark    schedule 31.12.2016


Ответы (2)


Два подхода:
1. Реализация интерфейсов sql.Scanner и driver.Valuer для пользовательского типа
Преимущества:

  • Простота хранения и извлечения
  • Не нужно запрашивать/загружать из другой таблицы

Предостережения:

  • Размер строки ограничен определением столбца sql (т.е. в данном случае это 255). В зависимости от архитектуры вашей базы данных это будет либо усечено, либо приведет к ошибке, которую необходимо обработать.
  • Перейти через обручи, чтобы удалить определенные навыки для кого-то/всех на уровне базы данных.
  • Поиск необходимо выполнять с помощью оператора contains вместо оператора equal.
  • В будущем изменить структуру навыков будет сложно.
package tgorm

import (
    "database/sql/driver"
    "encoding/json"
    "errors"
    "fmt"
    "github.com/jinzhu/gorm"
    _ "github.com/jinzhu/gorm/dialects/sqlite"
    "github.com/stretchr/testify/assert"
    "strings"
    "testing"
    "time"
)

type Skills []string

func (s Skills) Value() (driver.Value, error) {
    if len(s) == 0 {
        return "[]", nil
    }
    return fmt.Sprintf(`["%s"]`, strings.Join(s, `","`)), nil
}

func (s *Skills) Scan(src interface{}) (err error) {
    var skills []string
    switch src.(type) {
    case string:
        err = json.Unmarshal([]byte(src.(string)), &skills)
    case []byte:
        err = json.Unmarshal(src.([]byte), &skills)
    default:
        return errors.New("Incompatible type for Skills")
    }
    if err != nil {
        return
    }
    *s = skills
    return nil
}

type Employee struct {
    Id        int64     `db:"id" json:"id"`
    Firstname string    `db:"firstname" json:"firstname"`
    Lastname  string    `db:"lastname" json:"lastname"`
    Dob       time.Time `db:"dob" json:"dob"`
    Skills    Skills    `gorm:"type:varchar(255);" db:"skills" json:"skills"`
}

func (e Employee) TableName() string {
    return "employee"
}


func getMemoryDataBase() *gorm.DB {
    db, err := gorm.Open("sqlite3", ":memory:")
    if err != nil {
        panic(err)
    }
    db = db.Debug()
    db.AutoMigrate(Employee{})
    return db
}

func TestSaveEmployee(t *testing.T) {
    db := getMemoryDataBase()
    emp := Employee{
        Id:        1,
        Firstname: "Fake",
        Lastname:  "Emp",
        Dob:       time.Time{},
        Skills:    []string{"C#", "GO", "C++"},
    }
    skills, _ := json.Marshal(emp.Skills)
    err := db.Exec(`INSERT INTO employee (firstname, lastname, dob, skills) VALUES (?, ?, ?, ?)`, emp.Firstname, emp.Lastname, emp.Dob, skills).Error
    assert.Nil(t, err)
    var emps []Employee
    err = db.Raw("SELECT * FROM employee").Scan(&emps).Error
    assert.Nil(t, err)
    assert.Equal(t, []Employee{emp}, emps)
}

<сильный>2. Вынести Skills в отдельную таблицу со ссылкой на сотрудника.

Преимущества:

  • Расширить определение таблицы
  • Улучшенные возможности поиска
  • Легче сбрасывать навыки для кого-то/всех на уровне базы данных

Предостережения:

  • Требуется еще один запрос/загрузка для навыков
  • Расширенное определение схемы базы данных
package subgrom

import (
    "github.com/jinzhu/gorm"
    _ "github.com/jinzhu/gorm/dialects/sqlite"
    "github.com/stretchr/testify/assert"
    "testing"
    "time"
)

type Skill struct {
    Id          int64  `db:"id" json:"id"`
    Skill       string `db:"skill" json:"skill"`
    EmployeeRef int64
}

type Employee struct {
    Id        int64     `db:"id" json:"id"`
    Firstname string    `db:"firstname" json:"firstname"`
    Lastname  string    `db:"lastname" json:"lastname"`
    Dob       time.Time `db:"dob" json:"dob"`
    Skills    []Skill   `db:"skills" json:"skills" gorm:"foreignkey:EmployeeRef"`
}

func (e Employee) TableName() string {
    return "employee"
}

func getMemoryDataBase() *gorm.DB {
    db, err := gorm.Open("sqlite3", ":memory:")
    if err != nil {
        panic(err)
    }
    db = db.Debug()
    db.AutoMigrate(Employee{}, Skill{})
    return db
}

func TestSaveEmployee(t *testing.T) {
    db := getMemoryDataBase()
    emp := Employee{
        Id:        1,
        Firstname: "Fake",
        Lastname:  "Emp",
        Dob:       time.Time{},
        Skills:    []Skill{{Skill: "C#"}, {Skill: "GO"}, {Skill: "C++"}},
    }
    err := db.Create(&emp).Error
    assert.Nil(t, err)
    var emps []Employee
    err = db.Preload("Skills").Find(&emps).Error
    assert.Nil(t, err)
    assert.Equal(t, []Employee{emp}, emps)
}

person will7200    schedule 26.04.2020
comment
Спасибо за ваш отличный ответ, я протестировал первый подход с помощью gorp и нашел ошибку в вашем решении. Для метода значения маршалинг массива, который имеет некоторые элементы, возвращает ошибку, последняя строка метода значения должна быть такой это: return fmt.Sprintf(`["%s"]`, strings.Join(s, `","`)), nil - person setiabb; 06.09.2020

Столкнулся с подобной проблемой, для меня проблема заключалась в упорядочении поля scope_t.

selectGroup = `SELECT 
id,
name,
fully_qualified_name,
parent_id,
scopes,
scope_t
FROM groups `

При вставке данных я поместил scope_t в случайное место, поэтому SQL вернулся с ошибкой, упомянутой выше, потому что эта позиция была сопоставлена ​​​​с другим типом данных.

if err := r.db.QueryRowContext(ctx, createGroup, group.Name, group.FullyQualifiedName,
    pq.Array(group.Scopes), group.ParentID, userID, scope_type).Scan(&id); err != nil {
    return nil, err
}

TL;DR

Перед вставкой также проверьте места, где вы можете поменять местами значения, из-за которых возникает ошибка типа.

person infiniteLearner    schedule 28.01.2021