Введение
Проведение опроса на 10000 интервью и больше, особенно когда поле необходимо провести в нескольких десятках городах - задача нелегкая. Особенно, если интервью длительное (например 1 час).
Для того, чтобы поле выполнить в срок, обеспечить высокое качество данных, при этом снизить потери анкет необходимо использовать программное обеспечение специально предназначенное для сбора данных при работе с большими полями.
В данной статье рассказывает как можно эффективно провести управление большим полем на программном обеспечении FlowSurvey.
Проблемы при управлении большим полем
Для начала перечислим проблемы, с которыми сталкиваются при управлении большим полем, после чего покажем как FlowSurvey помогает данные проблемы решать:
- Сложно следить за наполнением квот
- Высокая вероятность переполнения квот
- Сложно следить за качеством проведения интервью
- Сложно предоставить промежуточные результаты
- Сложно свести все данные в один отчет
- Технические проблемы на устройствах интервьюеров
- Проблемы в обучении персонала
- Сложность с внесением изменений в уже запущен опрос
Разберем каждую из проблем отдельно.
1. Сложно следить за наполнением квот
Если интервьюеров много при этом они работают в местах без доступа к интернету сложно уследить кто сколько интервью выполнил и сколько еще осталось. При этом данная проблема усложняется еще в случае применения квот, так как необходимо следить не только за тем какой интервьюер сколько выполнил, а также за тем какие квоты закрыты, а какие - еще необходимо добрать.
2. Высокая вероятность переполнения квот
Данная проблема связана с первой. При сложном учете наполнения квот существует вероятность когда разные интервьюеры делают в сумме больше анкет чем требуется. А это приводит к дополнительным расходам.
3. Сложно следить за качеством проведения интервью
Данные должны быть не просто собраны, но они должны быть еще и надежными (валидны). Например, перечисляет ли интервьюер все варианты ответов, когда зачитывает вопрос респонденту - это значительно может влияет на качество собранных данных, так как респондент мог выбрать вариант, который не был зачитан. Также недобросовестные интервьюеры могут дозаполнять анкету самостоятельно, если, например, респондент в середине интервью отказался его продолжать и ушел.
4. Сложно представить промежуточные результаты
Проведение опроса с большим полем может занять достаточно большое время. При этом у вас, менеджеров или заказчиков исследования может возникнуть необходимость просмотреть промежуточно собранные данные. Если система не позволяет построить простые отчеты на уже собранных данных в любой момент времени - это также может быть проблемой.
5. Сложно свести все данные в один отчет
Если интервью длительное (около 1 часа), то вопросов и вариантов ответов в каждом интервью может быть много. Для большого поля - это означает большой массив данных. Система должна позволять выгрузить такой большой массив данных.
6. Технические проблемы на устройствах интервьюеров
Если анкеты длительные, то в течение проведения интервью могут быть прерывания (на устройство поступил входящий звонок, сел аккумулятор, интервьюер случайно закрыл приложение). В случае прерывания длительного интервью, должна быть возможно его продолжить с того вопроса, на котором остановились (даже если приложение было выгружено из памяти). В противном случае могут быть много прерванных, а следовательно потерянных интервью.
7. Проблемы в обучении персонала
На большом поле может быть задействовано большое количество интервьюеров. А это значит, что каждый интервьюер должен быть обучен пользоваться программой. Программа должна быть проста в обучении и использовании, иначе это создать нагрузку на отдел поддержки, а также может привести к задержкам в проведении поля.
8. Сложность с внесением изменений в уже запущенный опрос
После старта опроса, может возникнуть ситуация, например, когда необходимо в какой-то вопрос добавить дополнительный вариант ответов или добавить целый вопрос, или была опечатка в опросе и ее необходимо исправить. В случае с большим полем это также может быть проблемой. Программное обеспечение должно позволять вносить изменения в уже запущенный опрос.
Это не полный список проблем, с которыми можно столкнуться при проведении опроса на большом поле. Однако решение данных проблем может помочь предотвратить связанные между собой проблемы.
Планирование проведение поля
Теперь покажем как программное обеспечение FlowSurvey помогает решить данные проблемы при правильном планировании.
- Планирование локаций
- Настройка квоты и целевых значений
- Привязка устройств
- Привязка контролеров (если требуется)
- Запуск и проведение опроса
- Контроль качества анкет, отклонение анкет
- Контроль наполнения квот
- Переполнение квот
- Технические проблемы на устройствах
- Просмотр промежуточных результатов
- Выгрузка данных
Рассмотрим каждый из шагов.
Планирование локаций
Локации - это место проведение интервью и/или задание для интервьюера.
Мы предполагаем, что квота для проведение опроса нам уже предоставлена и мы знаем сколько интервью в каком региона, в каком городе на какой улице надо выполнить.
Предположим квота выглядит так.
Планирование локаций зависит от того, сколько всего мест\заданий присутствует в опросе. При большой количестве мест, удобнее будет разбивать на категории\подкатегории. Это позволит удобнее пользоваться фильтрами по поиску анкет, удобнее отслеживать наполнение квот, удобнее привязывать контролеров и прочее.
Предположим у нас есть 4 региона, в каждом регионе 5 городов, в каждом городе 5 заданий. Мы планирует, что в каждом городе интервьюеры будут выполнять одно или несколько заданий.
Под заданием обычно подразумевается требование выполнить несколько интервью в определенном месте, возможно с определенной квотой.
Таким образом вложенность будет выглядеть так: Region 1 -> City 1 -> Task 1.
FlowSurvey поддерживает вложенность локаций\заданий до любого уровня. При этом необязательно, чтобы на каждом уровне вложенность было одинаковой. Например на первом уровне вложенность Region 1 -> City 1 -> Task 1, а на втором Region 2 -> Task 2.
В случае большого количества строк в таблице имеет смысл разбить таблицу на части (например по регионам). В FlowSurvey позволяет сделать несколько отдельных групп квот (это несколько отдельных таблиц).
Настройка квоты и целевых значений
Локации и квота задается в настройках квоты. Более подробно вы можете ознакомится в документации.
Стоит отметить, что перенос квоты и локаций из Excel в FlowSurvey достаточно удобный и быстрый. Если у вас квота подготовлена в таком виде как показано на скриншоте (уровни вложенности сделаны в виде разных колонок Region 1, City 1, Task 1 и пр.) то достаточно выделить эти уровни, скопировать в буфер обмена и вставить в FlowSurvey в настройках квоты в первое текстовое поле локации как показано на следующем изображении.
Ввод целевых значений также с легкостью переноситься из Excel в FlowSurvey через буфер обмена. Для этого необходимо выделить ячейки со значениями, скопировать в буфер обмена и вставить в первую ячейку ввода значений квот, как показано на следующем изображении.
Таким образом зашитая квота выглядит так:
Привязка устройств
Для каждого интервьюера создается отдельный логин и пароль, которые он будет использовать на своем устройстве. Один логин и пароль может использоваться только на одном устройстве. Если попытаться войти под логином, который уже используется на другом устройстве то будет выведена ошибка. Это позволяет избежать ситуации, когда 2 интервьюера работают на одном логине и проблемы определения, какая анкета каким интервьюером сделана.
Когда мы присваиваем интервьюеру какое-либо задание, мы привязываем его логин к заданию (локации). Мы можем привязать несколько логинов к одному заданию. Или несколько логинов к нескольким заданием. Также мы можем привязать логины к любому уровню вложенности, например к городу City 1, тогда все задания City 1 будут привязаны к указанным логинам.
Система FlowSurvey позволяет привязывать любое количество логинов к любому количество заданий на любом уровне вложенности локации\задания.
Однако здесь стоит учитывать, что если привязать несколько логинов к одним и тем же заданиям может произойти переполнение квоты. Так как планшеты в момент проведения опроса не подключены в сети Интернет, они не могут проверить наполнение квот. И когда квота почти заполнена два интервьюера могут пойти выполнять одно и то же задание, в результате чего получится переполнение. Поэтому рекомендуется назначать персональные задания (присваивать только один логин к определенным заданиям).
Однако, присвоение нескольких логинов, например сразу к нескольким заданиям в городе может быть более удобным. В этом случае рекомендуется синхронизироваться как можно чаще с сервером, чтобы получить актуальные данные о наполненности квот.
Привязка устройств выполняется на странице “Привязка устройств”.
Привязка контролеров
В некоторых случаях интервьюеры одного города или региона могут быть подчинены одному супервайзеру. В то время как интервьюеры другого региона или города - другому супервайзеру. Супервайзер может следить как за наполнением квоты, так и за качеством проведения интервью.
Супервайзер одного региона не должен иметь доступ к анкетам или квоте другого супервайзера.
Программное обеспечение FlowSurvey позволяет предоставить супервайзеру доступ на только на просмотр наполнения квоты и\или контроль качества анкет, при этом ограничить доступ только к своему региону.
Для этого необходимо создать контроллера в разделе “Контроллеры”. Дать ему те права, которые требуется.
После чего привязать контроллера к нужному региону\городу или заданиям.
Контроллер в системе FlowSurvey отличается от обычного пользователя тем, что он имеет доступ только к определенным локациям\заданиям, в то время как пользователь имеет доступ ко всем локациям и заданиям проекта, если ему открыт доступ к проекту.
Контроллером также может быть модератор, которые анализирует качество анкет, при этом данному контроллеру необходимо ограничить доступ к определенным локациям.
Контроль качества анкет, отклонение анкет
Качество проведенного интервью наиболее эффективно проверить прослушав фоновую аудиозапись интервью. На фоновой аудиозаписи вы можете проверить присутствует ли респондент при ответе на все вопросы, все ли вопросы зачитаны верно, все ли варианты ответов заданы верно, и прочее.
При наличии аудио-записи интервью, она отобразиться в анкете. FlowSurvey позволяет прослушивать аудио-запись отдельно по каждому вопросу.
Дополнительно для контроля качества интервью можно использовать GPS-координаты начала и окончания опроса, чтобы проверить находился ли интервьюер в нужном месте. Однако стоит учитывать, что GPS не обладают достаточной надежностью и на Android устройствах могут быть подменены.
Вы также можете использовать функцию автоматического перехода к следующему вопросу, когда аудиозапись текущего вопроса полностью проиграна.
Аудио-записи также могут быть выгружены в ZIP-архиве, также отдельно по каждому вопросу.
Если вы определили, что текущая анкета обладает низким качеством, то вы можете установить статус анкеты “Rejected”. В этом случае анкета исключается из квоты. И при следующей синхронизации устройств, квоты которые закрывала данная анкета будут уменьшены на 1 и доступны для повторного выполнения интервью. Таким образом интервьюеру будет необходимо переделать анкету.
В случае, если анкета обладает достаточным качеством, то устанавливается статус “Approved”. Далее, анкеты, которые не были проверены могут быть отфильтрованы по статусу “Not verified”. Таким образом, контроллер или тот, кто занимается проверкой качества анкет может легко найти непроверенные анкеты и установит им нужные статусы.
Контроль наполнения квот
В процессе проведения опроса необходимо постоянно следить за наполнением квот и реагировать, если какие-то квоты не достаточно быстро заполняются или возникают другие проблемы.
Для этих целей существует таблица “Статистика квот”, в которой находится актуальная информация по наполнению всех квот и общие итоги. Если квота была разбита на несколько групп квот, то будет несколько отдельных таблиц.
Таблица отображает полную структуру вложенности локаций и заданий, а также пересекающиеся и непересекающиеся квоты (параллельные квоты). На предыдущем изображении вы можете видеть пересекающие (строгие) квоты: “возраст” по отношению к “полу”. Также вы можете видеть непересекающиеся (параллельные) квоты: “наличие детей” по отношению к “полу” и “возрасту”.
В каждой ячейке вы можете увидеть сколько интервью из скольки необходимых сделано.
Внизу вы можете видеть общую сумму и процент выполнений текущей таблицы.
В случае если вам необходимо проверить список анкет по определенной квоте, вы можете перейти на страницу списка анкет и настройки фильтр на нужную локацию и квоту.
Этих 2х инструментов (статистики квот и списка анкет) достаточно, чтобы эффективно контролировать наполнение квот.
Переполнение квот
Переполнение квоты для опросов на устройствах (оффлайн) возможно в следующем случае:
- Одно задание назначено двум устройствам или более
- Устройство синхронизировалось до того как другое устройство с этого же задания отправили анкеты на сервер
- Оба устройства в сумме выполнили больше анкет, чем требовалось по квоте
Если возникло переполнение квоты, то анкета, которая пришла на сервер позже будет помечена маркером “Out of quota”.
Переполнения квоты рекомендуется избегать путем назначения персональных заданий. В противном случае необходимо синхронизироваться как можно чаще, чтобы устройства получали данные о том, сколько квоты закрыто другими устройствами.
Технические проблемы на устройствах
В процессе проведения опроса на устройствах могут возникать технические неполадки. Возможны 2 случая:
- Техническая неполадка действительно возникла
- Интервьюера не разобрался в технических нюансах, и просто необходимо оказать квалифицированную техническую поддержку.
В обоих случаях вы можете обратиться в нашу техническую техническую поддержку и мы поможем разобраться. В приложении (если его удается запустить) есть функция “Send logs” (находится в главном меню приложения), которая позволяет отправить логи приложения техническому отделу FlowSurvey. Логи содержать список активности интервьюера в приложении и список ошибок. Логи помогут нашему техническому отделу определить:
- Действительно ли была ошибка
- Найти источник ошибки, если такой есть
- Ответить на Ваш вопрос, например: найти анкеты, которые по мнению интервьюера “потерялись”
- И прочее
Если ошибка действительно есть и причина ошибки в приложении или сервере, то обращение в техподдержку оплачивать не требуется.
Просмотр промежуточных результатов
В процессе выполнения проекта может возникнуть необходимость просмотреть промежуточный отчет, а также предоставить отчет клиенту или заинтересованной стороне, но при этом ограничить доступ к другим частям опроса.
Для этих целей в FlowSurvey существует “Отчет”. Отчет содержит “живые” данные и существует возможность предоставить заинтересованным сторонам доступ только к отчету. Для этого вы можете создать отдельного пользователя, указать к каким проектам он имеет право доступа и выставить право “Просмотр отчета” при этом ограничить все остальные права.
Вы также можете предоставить доступ на “Статистику квот” и заинтересованная сторона сможет просматривать наполняемость квот и контролировать процесс.
Выгрузка данных
Большое количество анкет - это большой массив данных. Например 10000 анкет и 3000 столбцов (каждый столбец соответствует одной единице данных, одному ответу на вопрос) - это выгрузка 30 млн. ячеек. Наше программное обеспечение позволяет выгрузить такой объем данных за один раз. При этом для такого большого объема рекомендуется использовать формат SPSS, так как у формата Excel могут возникнуть проблемы при открытии файла.
Заключение
Таким образом, управления большим полем может породить много проблем, однако при правильном планировании и использовании подходящего программного обеспечение этот процесс может быть легким, качественным и быстрым.
Наше программное обеспечение FlowSurvey прошло испытание на больших проектах и показало свою эффективность, оно нравится как менеджерам, так и интервьюерам.
Если у Вас остались вопросы, пожалуйста, обращайтесь к нашим специалистам. А если вы хотите попробовать продукт, пожалуйста, регистрируйтесь по этой ссылке.