Создать Pandas DataFrame из строки

Чтобы проверить некоторые функции, я хотел бы создать DataFrame из строки. Допустим, мои тестовые данные выглядят так:

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

Каков самый простой способ прочитать эти данные в Pandas DataFrame?


person Emil H    schedule 24.03.2014    source источник


Ответы (7)


Простой способ сделать это - использовать StringIO.StringIO (python2). или io.StringIO (python3) и передайте это в _ 3_. Например:

import sys
if sys.version_info[0] < 3: 
    from StringIO import StringIO
else:
    from io import StringIO

import pandas as pd

TESTDATA = StringIO("""col1;col2;col3
    1;4.4;99
    2;4.5;200
    3;4.7;65
    4;3.2;140
    """)

df = pd.read_csv(TESTDATA, sep=";")
person Emil H    schedule 24.03.2014
comment
Если вам нужен код, совместимый как с Python 2, так и с Python 3, при желании вы также можете использовать from pandas.compat import StringIO, отметив, что это тот же класс, что и тот, который поставляется с Python. - person Acumenus; 27.09.2017
comment
К вашему сведению - pd.read_table() - это эквивалентная функция, только немного лучшая номенклатура: df = pd.read_table(TESTDATA, sep=";"). - person wkzhu; 07.12.2017
comment
@AntonvBR Отметил, что можно использовать pandas.compat.StringIO. Таким образом, нам не нужно импортировать StringIO отдельно. Однако пакет pandas.compat считается частным согласно pandas.pydata.org /pandas-docs/stable/api.html?highlight=compat, поэтому пока оставьте ответ как есть. - person Emil H; 12.12.2017
comment
Пора разобраться, какой импорт: Следует ли нам использовать pandas.compat.StringIO или Python 2/3 StringIO? - person smci; 11.05.2018
comment
Если вы создаете TESTDATA с df.to_csv(TESTDATA), используйте TESTDATA.seek(0) - person user3226167; 24.10.2019
comment
Я получаю сообщение "Ошибка токенизации данных. Ошибка C: ожидались 2 поля в строке 26, увидело 12 \ n ',) - person gdm; 31.07.2020
comment
Это то, что мне нужно было сделать при загрузке файлов CSV в colab. Чтобы сделать фрейм данных из CSV, я использовал этот метод - person Joshua Swain; 05.01.2021
comment
@gdm Ошибка ожидаемых полей обычно связана с несогласованным количеством полей в каждой строке или неправильным разделителем / разделителем. - person skytaker; 26.03.2021

Метод разделения

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)
person Shaurya Uppal    schedule 21.02.2019
comment
Если вы хотите, чтобы первая строка использовалась для имен столбцов, измените вторую строку на это: df = pd.DataFrame([x.split(';') for x in data.split('\n')[1:]], columns=[x for x in data.split('\n')[0].split(';')]) - person Mabyn; 18.10.2019
comment
Это неверно, поскольку в файлах CSV символ новой строки (\ n) может быть частью поля. - person Antonio Ercole De Luca; 03.04.2020
comment
Это не очень надежно, и большинству людей будет лучше с принятым ответом. Вот очень неполный список вещей, которые могут пойти не так, как надо: thomasburette.com/blog/2014/05/25/ - person DanB; 15.05.2020

Быстрое и простое решение для интерактивной работы - скопировать и вставить текст, загрузив данные из буфера обмена.

Выделите содержимое строки с помощью мыши:

«Скопируйте

В оболочке Python используйте read_clipboard()

>>> pd.read_clipboard()
  col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

Используйте соответствующий разделитель:

>>> pd.read_clipboard(sep=';')
   col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140

>>> df = pd.read_clipboard(sep=';') # save to dataframe
person user2314737    schedule 30.11.2018
comment
Не очень хорошо с точки зрения воспроизводимости, но в остальном довольно изящное решение! - person Mabyn; 18.10.2019

В одну строку, но сначала импортируйте IO

import pandas as pd
import io   

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

df = pd.read_csv(  io.StringIO(TESTDATA)  , sep=";")
print ( df )
person user3810512    schedule 26.11.2020
comment
В чем разница между этим и принятым ответом? За исключением того, что вы переместили операцию io в read_csv, что не имеет значения ... Всегда проверяйте, не опубликован ли аналогичный ответ, избыточность не требуется. - person Ruli; 26.11.2020

Этот ответ применяется, когда строка вводится вручную, а не когда она откуда-то читается.

Традиционный CSV переменной ширины не может быть прочитан для хранения данных в виде строковой переменной. Рекомендуется использовать данные фиксированной ширины, разделенные конвейером, особенно для использования внутри файла .py. Различные IDE и редакторы могут иметь плагин для форматирования текста, разделенного вертикальной чертой, в аккуратную таблицу.

Использование read_csv

Сохраните следующее в служебном модуле, например util/pandas.py. Пример включен в строку документации функции.

import io
import re

import pandas as pd


def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
    """Read a Pandas object from a pipe-separated table contained within a string.

    Input example:
        | int_score | ext_score | eligible |
        |           | 701       | True     |
        | 221.3     | 0         | False    |
        |           | 576       | True     |
        | 300       | 600       | True     |

    The leading and trailing pipes are optional, but if one is present,
    so must be the other.

    `kwargs` are passed to `read_csv`. They must not include `sep`.

    In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can 
    be used to neatly format a table.

    Ref: https://stackoverflow.com/a/46471952/
    """

    substitutions = [
        ('^ *', ''),  # Remove leading spaces
        (' *$', ''),  # Remove trailing spaces
        (r' *\| *', '|'),  # Remove spaces between columns
    ]
    if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
        substitutions.extend([
            (r'^\|', ''),  # Remove redundant leading delimiter
            (r'\|$', ''),  # Remove redundant trailing delimiter
        ])
    for pattern, replacement in substitutions:
        str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
    return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

Нерабочие альтернативы

Приведенный ниже код не работает должным образом, потому что он добавляет пустой столбец как с левой, так и с правой стороны.

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

Что касается read_fwf, он фактически не использует столько дополнительных kwarg, которые read_csv принимает и использует. Таким образом, его вообще не следует использовать для данных, разделенных конвейером.

person Acumenus    schedule 28.09.2017
comment
Я обнаружил (методом проб и ошибок), что read_fwf принимает больше read_csvs аргументов, чем задокументировано, но это правда, что некоторые из них не действуют. - person gerrit; 20.01.2020

Объект: возьмите строку и создайте фрейм данных.

Решение

def str2frame(estr, sep = ',', lineterm = '\n', set_header = True):
    dat = [x.split(sep) for x in estr.split(lineterm)][1:-1]
    cdf = pd.DataFrame(dat)
    if set_header:
        cdf = cdf.T.set_index(0, drop = True).T # flip, set ix, flip back
    return cdf

Пример

estr = """
sym,date,strike,type
APPLE,20MAY20,50.0,Malus
ORANGE,22JUL20,50.0,Rutaceae
"""

cdf = str2frame(estr)

print(cdf)
0     sym     date strike      type
1   APPLE  20MAY20   50.0     Malus
2  ORANGE  22JUL20   50.0  Rutaceae
person Hunaphu    schedule 18.06.2021

Самый простой способ - сохранить его во временном файле, а затем прочитать:

import pandas as pd

CSV_FILE_NAME = 'temp_file.csv'  # Consider creating temp file, look URL below
with open(CSV_FILE_NAME, 'w') as outfile:
    outfile.write(TESTDATA)
df = pd.read_csv(CSV_FILE_NAME, sep=';')

Правильный способ создания временного файла: Как создать файл tmp в Python?

person QtRoS    schedule 31.01.2020
comment
что делать, если нет разрешения на создание файла? - person BingLi224; 01.03.2020
comment
На мой взгляд, это уже не самый простой случай. Обратите внимание, что самое простое явно указано в вопросе. - person QtRoS; 03.03.2020