Привет!
Выкачиваю данные по запросу из БД MS Sql, в запросе получаю 3,5 млн строк(кортежей), в которых
первый элемент-это id человека
второй не важен
третий - код вопроса
четвертый,пятый,шестой - это ответ.
Собственно вопрос, как развернуть всё это в плоскую таблицу, где код вопроса - это столбец,id человека строка, и дальше записывается в ячейку на пересечении его ответ.
Вот код
"""
import pyodbc
import pandas as pd
from itertools import groupby
#коннект к серверу
#запрос
result = cursor.fetchall()
> > (33000012, 40, 'avg_time_sec', None, '248', None, None)
(33000012, 446, 'bp_coad[{bp_coad_enjoylife}].bp_coad_scale', 35, None, None, None)
(33000012, 447, 'bp_coad[{bp_coad_getAhead}].bp_coad_scale', 35, None, None, None)
(33000012, 445, 'bp_coad[{bp_coad_variety}].bp_coad_scale', 33, None, None, None)
(33000012, 449, 'bz_coadServices_1', 127, None, None, None)
x = [x[0] for x in result]
x = [el for el, _ in groupby(x)] #Получение уникальных id
#Выкидывает все None оставляя только ответ, в каком бы столбце SQL запроса он не содержался
not_None = []
for i in result:
not_None.append(list(filter((None).ne, i)))
df=pd.DataFrame()
for i in x: #взять id
q=[{a[2]:a[3] for a in not_None if i==a[0]}] #генерация одной строки для респондента
df.append(q,ignore_index=True) #добавить строку в DF(пока не работает из-за "кривизны" данных)
"""
Так же,хотелось бы максимально ускориться, не знаю,нормально это,что 3,5 млн таким макаром разворачивает в плоскую таблицу за 40 минут
а ЗАЧЕМ ? -- вот главный вопрос.