Làm cách nào để cải thiện chất lượng phản hồi khảo sát SMS và tỷ lệ hoàn thành ở các thị trường mới nổi

Bởi Aimee Leidich, Samuel Kamande, Khadija Hassanali, Nicholas Owsley, David Clarance, Chaning Jang

Tóm lược

Sự thâm nhập di động đã đạt 95% ở Kenya, biến di động thành một phương tiện mạnh mẽ để truy cập vào các cá nhân trước đây khó tiếp cận. SMS đang trở thành một phương pháp phổ biến để thu thập dữ liệu trong khu vực, nhưng có rất ít nghiên cứu điều tra các yếu tố nào ảnh hưởng đến hiệu quả của SMS như một công cụ thu thập dữ liệu trong thị trường này. Bài viết này khám phá cách các cuộc khảo sát SMS khác nhau thiết kế tỷ lệ hoàn thành và chất lượng phản hồi giữa những người Kenya.

Chúng tôi đã gửi một cuộc khảo sát SMS di động một lần tới 3,89 người Kenya quen thuộc với các cuộc khảo sát SMS và tới 6,279 người không quen thuộc. Mỗi mẫu được chọn ngẫu nhiên thành một trong 54 kết hợp điều trị xuyên suốt với sự thay đổi theo nhiều chiều: số tiền khuyến khích, giao tiếp tiền khảo sát, thời lượng khảo sát và biến thể nội dung.

Chúng tôi đã tạo ra năm khuyến nghị cho các học viên thiết kế khảo sát SMS tại các thị trường mới nổi:

1) Tuyển dụng một mẫu mà họ biết rằng họ sẽ nhận được các cuộc khảo sát SMS

2) Giữ khảo sát trên thiết bị di động tối đa 5 câu hỏi hoặc cung cấp ưu đãi cao hơn cho các cuộc khảo sát dài hơn

3) Chọn ngẫu nhiên các câu hỏi và tùy chọn trả lời để cải thiện chất lượng phản hồi

4) Sử dụng các câu hỏi mở trong đó thiếu dữ liệu định tính hỗ trợ cho câu hỏi

5) Biết rằng nam giới và những người dưới 30 tuổi có nhiều khả năng hoàn thành khảo sát SMS nhất

Đọc để biết thêm chi tiết về các phương pháp và thảo luận của chúng tôi.

  1. Giới thiệu

Điện thoại di động hiện là một phần chính trong hầu hết các bối cảnh, biến chúng thành một công cụ vô giá để liên lạc và truy cập dữ liệu từ các cá nhân trên khắp thế giới. Tại Kenya, tỷ lệ thâm nhập điện thoại di động đã đạt 95,1% với các thuê bao gửi hơn 14,9 tỷ dịch vụ tin nhắn ngắn (SMS) trong quý đầu tiên của năm 2018 [1]. Một loạt các tổ chức bao gồm các tập đoàn, tổ chức chính phủ, bệnh viện và phi lợi nhuận đang sử dụng SMS để hiểu rõ hơn và tiếp cận các cá nhân không thể tiếp cận theo truyền thống. Ví dụ, trong nghiên cứu sức khỏe, SMS đã được sử dụng như một công cụ can thiệp mạnh mẽ để cải thiện sự tuân thủ với thuốc cứu sống [2], nâng cao hiệu quả của các quản trị viên y tế [3] và đảm bảo cung cấp đầy đủ các thiết bị y tế quan trọng [4].

Nghiên cứu trước đây chứng minh tính hiệu quả của SMS như một công cụ thu thập dữ liệu và điểm truy cập [6], nhưng ít nghiên cứu đã khám phá các bước cụ thể mà các nhà nghiên cứu và thực hành nên thực hiện khi thiết kế khảo sát di động SMS. Ví dụ, nghiên cứu cho thấy rằng việc cung cấp các ưu đãi trong thời gian phát sóng trên điện thoại để hoàn thành khảo sát có tác động tích cực đến tỷ lệ phản hồi [4], nhưng không cung cấp thêm thông tin về cách các mức giá này có thể khác nhau giữa các khoản khuyến khích và các yếu tố khác.

Để tối ưu hóa SMS như một công cụ thu thập dữ liệu, chúng ta cần hiểu rõ hơn về tác động của các thiết kế khảo sát khác nhau và cách tối ưu hóa các thiết kế đó để thu thập dữ liệu chất lượng cao nhất với chi phí thấp nhất. Trong bài viết này, chúng tôi tìm hiểu mức độ khuyến khích, thông tin liên lạc trước khảo sát và thời gian hoàn thành tác động khảo sát và cách biến đổi nội dung - thứ tự câu hỏi, thứ tự trả lời phân loại và phản hồi thử nghiệm mở - chất lượng phản hồi tác động. Kết quả từ nghiên cứu này sẽ được sử dụng để thông báo các thực tiễn tốt nhất cho các nhà nghiên cứu và các học viên muốn sử dụng SMS làm phương pháp thu thập dữ liệu trực tiếp trong tương lai.

2. Phương pháp

2.1 Nghiên cứu dân số & mẫu

Nghiên cứu này là sự hợp tác giữa mSurvey, một công ty thu thập dữ liệu di động và phản hồi của khách hàng và Trung tâm Busara, một trung tâm nghiên cứu khoa học hành vi, cả hai đều có trụ sở tại Nairobi. Mẫu được lấy từ hai nguồn: đối tượng mSurvey, mẫu thuận tiện của hơn 37.000 cá nhân được tuyển dụng liên tục trên khắp Kenya từ năm 2012 và mẫu nghiên cứu Busara, một mẫu mục tiêu của gần 15.000 cá nhân được tuyển dụng thông qua tiếp xúc trực tiếp và khảo sát cơ bản.

Mạng khán giả mSurvey được tạo thành từ các cư dân Kenya từ 18 tuổi trở lên, những người a) sở hữu điện thoại di động của riêng họ có thể gửi và nhận SMS; b) biết chữ bằng tiếng Anh và c) đồng ý nhận cả nghiên cứu và khảo sát thị trường. Họ tham gia tốt, thể hiện tỷ lệ hoàn thành trung bình 65% trong các cuộc khảo sát trước đó. Các thành viên của khán giả mSurvey được coi là dân số nổi tiếng của người Bỉ trong nghiên cứu này, đã nhận được ít nhất một cuộc khảo sát SMS từ mSurvey trong 5 năm qua.

Mẫu Busara được tạo thành từ các cá nhân có thu nhập thấp ở Nairobi có điện thoại di động và đồng ý nhận thông tin liên lạc từ Busara và tham gia vào các nghiên cứu trong tương lai. Mẫu này được coi là quần thể không xác định của người Viking vì họ không chọn tham gia rõ ràng để nhận khảo sát SMS đến thiết bị di động của họ từ mSurvey.

Mẫu nghiên cứu cuối cùng được tạo thành từ một lựa chọn ngẫu nhiên gồm 6.279 người tham gia Busara và 3.389 mSurvey người tham gia với tổng kích thước mẫu là 9.768. Chúng tôi thấy rằng 58 trong số những người tham gia Busara đã tình cờ chọn tham gia vào đối tượng mSurvey trong quá khứ. Vì họ đã quen thuộc với các cuộc khảo sát trên thiết bị di động, chúng tôi đã xác định lại họ là một phần của dân số được biết đến bởi vì họ tạo ra mẫu nghiên cứu cuối cùng có kích thước 6.221 cho dân số chưa biết và 3.547 cho dân số đã biết. Trong các mẫu phụ cuối cùng này, 45,1% dân số chưa biết và 74,8% dân số được biết là ở độ tuổi 29 và 54,2% dân số chưa biết và 41,4% dân số được xác định là nữ (Bảng 1).

Bảng 1. Nghiên cứu phân phối mẫu và tỷ lệ hoàn thành tổng thể và bằng mẫu phụ

2.2. Thiết kế

Nghiên cứu này bao gồm bốn nhóm điều kiện điều trị khác nhau thường được áp dụng cho các khảo sát SMS: số tiền khuyến khích, liên lạc trước khảo sát, thời lượng khảo sát và nội dung câu hỏi. Mỗi nhóm phương pháp điều trị bao gồm hai đến ba điều kiện riêng biệt được chỉ định với xác suất bằng nhau cho những người tham gia trong mỗi bốn phương pháp điều trị, ngoại trừ các khuyến khích, được chỉ định không tương xứng với việc không khuyến khích do hạn chế về nguồn lực. Xem Bảng 2 để biết mô tả về các phương pháp điều trị khảo sát.

Bảng 2. Nghiên cứu phương pháp điều trị, mức độ và giả thuyết

Các điều kiện này sau đó được gán ngẫu nhiên trong một thiết kế xuyên suốt để tạo thành tổng cộng 54 nhóm riêng biệt như được mô tả trong Phụ lục 1.

Bồi thường dưới dạng thời gian phát sóng điện thoại khác nhau giữa 0KES, 25KES và 100KES, tùy thuộc vào việc hoàn thành khảo sát cho phép chúng tôi kiểm tra xem tỷ lệ hoàn thành có tăng đáng kể khi được khuyến khích một số ưu đãi (25KES) so với ưu đãi cao hơn (100KES) hay không.

Độ dài khảo sát khác nhau giữa 5 câu hỏi, 10 câu hỏi và 25 câu hỏi với xác suất bằng nhau, cho phép chúng tôi kiểm tra xem tỷ lệ hoàn thành có giảm đáng kể khi chiều dài khảo sát tăng hay không. Mỗi giao tiếp trước khảo sát bao gồm một câu hỏi đồng ý yêu cầu người tham gia chọn tham gia khảo sát cùng với việc tiết lộ trước thời hạn khảo sát để kiểm tra xem tỷ lệ hoàn thành có tăng đáng kể khi biết thời gian khảo sát trước thời hạn hay không.

Cuối cùng, các biến thể nội dung bao gồm ba điều kiện: nội dung tiêu chuẩn (danh sách các câu hỏi theo thứ tự chuẩn với câu trả lời kiểu Likert), đảo ngược thứ tự câu hỏi (danh sách các câu hỏi theo thứ tự ngược với câu trả lời kiểu Likert) và biến thể tùy chọn trả lời (chọn thay vào đó, các câu hỏi với câu trả lời kiểu Likert được hỏi là câu hỏi mở) cho phép chúng tôi kiểm tra xem liệu có giảm đáng kể tỷ lệ hoàn thành và chất lượng phản hồi hay không khi một câu hỏi được hỏi sau đó trong cuộc khảo sát hoặc gọi cho câu trả lời kết thúc mở thay cho tùy chọn rời rạc. Đối với biến thể nội dung câu hỏi, người trả lời được chỉ định ngẫu nhiên để hoàn thành các câu hỏi theo thứ tự ban đầu của câu hỏi với xác suất 2/3 và được chỉ định ngẫu nhiên để hoàn thành chúng theo thứ tự ngược với xác suất 2/3 cho phép chúng tôi kiểm tra nếu câu trả lời khác nhau tùy thuộc vào thời điểm trong những người tham gia khảo sát hoàn thành câu hỏi.

Hệ thống mSurvey được thiết kế để đẩy mỗi người tham gia một tin nhắn SMS với một câu hỏi khảo sát duy nhất. Tùy thuộc vào định dạng câu hỏi, người tham gia trả lời bằng số, từ hoặc cụm từ bằng bàn phím điện thoại di động. Sau khi trả lời, mSurvey sẽ tự động gửi cho người tham gia câu hỏi khảo sát tiếp theo để trả lời. Xem Hình 1 cho một khảo sát SMS ví dụ được gửi bởi mSurvey.

Hình 1. Ví dụ khảo sát SMS được gửi bởi mSurvey

Câu hỏi khảo sát và câu trả lời là miễn phí cho người tham gia. Thành viên khán giả mSurvey nhận được ưu đãi thời gian phát trực tiếp đến thiết bị di động của họ sau khi hoàn thành để bù đắp thời gian và suy nghĩ của họ. Vào ngày 9 tháng 10 năm 2017, mỗi người tham gia đã được gửi khảo sát được chỉ định từ hệ thống mSurvey cùng một lúc.

2.3. Phân tích

Nghiên cứu này chủ yếu liên quan đến hai bộ kết quả có tầm quan trọng thực tế đối với các nhà nghiên cứu thiết kế khảo sát SMS: hoàn thành khảo sát (nghĩa là số lượng khảo sát hoàn thành chia cho số lượng khảo sát được gửi) và sự khác biệt trong phản hồi khảo sát (nghĩa là sự khác biệt trong phân phối phản hồi rời rạc và chất lượng tương đối của các phản hồi văn bản mở so với các phản hồi rời rạc).

Phân tích các phương pháp kiểm tra phương sai (ANOVA) được sử dụng để phân tích ảnh hưởng của điều kiện điều trị đến tỷ lệ hoàn thành khảo sát. Một mô hình tổng thể với mẫu hoàn chỉnh cũng như các mô hình riêng biệt cho từng mẫu phụ đã được xây dựng và thử nghiệm về ý nghĩa hiệu quả điều trị.

Các câu hỏi loại Likert, như được sử dụng trong bài viết này, tạo ra dữ liệu thứ tự không có phân phối chuẩn. Cuối cùng, thử nghiệm Mann-Whitney U là thử nghiệm thống kê chính được sử dụng để đo lường sự khác biệt trong các câu hỏi khảo sát vì thử nghiệm không tham số này Giả định phân phối giới hạn cho phép tính cả tính chất phân loại và thứ tự của dữ liệu.

Để phân tích sự khác biệt trong các câu trả lời khi trong cuộc khảo sát, một câu hỏi được đặt ra, chúng tôi đã áp dụng hiệu chỉnh Holm cho nhiều so sánh để tính đến phạm vi của các thử nghiệm được thực hiện.

3. Kết quả

3.1. Làm thế nào để cải thiện tỷ lệ hoàn thành

Nhìn chung, 36% số người được hỏi đã hoàn thành khảo sát di động của họ. Tỷ lệ hoàn thành cao hơn gấp bốn lần so với những người quen thuộc với các cuộc khảo sát trên thiết bị di động, dân số nổi tiếng (55%) so với những người không quen thuộc với các cuộc khảo sát trên thiết bị di động, dân số chưa biết đến (17,6%). Nam giới và những người tham gia trẻ hơn 25 tuổi29 có nhiều khả năng hoàn thành khảo sát với tỷ lệ hoàn thành giảm khi tuổi tăng ở cả hai nhóm (Bảng 1).

Liên quan đến hiệu quả điều trị, có một sự khác biệt đáng kể trong tỷ lệ hoàn thành vì số tiền khuyến khích và thời gian khảo sát thay đổi. Nhìn vào điều trị khuyến khích, mức tăng khuyến khích từ 0KES lên 25KES đã tăng tỷ lệ hoàn thành thêm 3,2% và tăng từ 0KES lên 100KES tăng tỷ lệ hoàn thành thêm 6% (giá trị p: 5.449e-06). Được chia nhỏ theo mẫu phụ, việc tăng số tiền khuyến khích đã làm tăng đáng kể tỷ lệ hoàn thành trong số những điều chưa biết nhưng không được biết đến. Việc tăng từ không khuyến khích lên 25KES trong số những người chưa biết đã tăng tỷ lệ hoàn thành thêm 5,8%, từ 13,7% lên 19,5% và tăng từ không khuyến khích lên 100KES đã tăng tỷ lệ hoàn thành thêm 8.2% lên 21.9% (giá trị p: 1.334e -08). Ngược lại, không có sự khác biệt đáng kể về tỷ lệ hoàn thành khi được biết nhận được ưu đãi cao hơn hoặc thấp hơn.

Đối với điều trị độ dài khảo sát, một cuộc khảo sát di động với năm câu hỏi tạo ra tỷ lệ hoàn thành cao nhất, đặc biệt là đối với dân số được biết đến. Nhìn chung, việc tăng thời lượng khảo sát từ năm câu hỏi lên 10 câu hỏi giúp giảm đáng kể tỷ lệ hoàn thành 3% và tăng lên 25 câu hỏi làm giảm đáng kể tỷ lệ hoàn thành 4% (giá trị p: 0,001144). Nhìn cụ thể hơn theo nhóm, tăng thời lượng khảo sát từ năm câu hỏi lên 10 câu hỏi trong số những người được biết đã giảm đáng kể tỷ lệ hoàn thành xuống 3,8%, từ 58,2% xuống 54,4% và tăng lên 25 câu hỏi giảm đáng kể tỷ lệ hoàn thành 5,6% xuống còn 52,6% (giá trị p: 0,01872). Đối với ẩn số, mức giảm nhỏ hơn nhưng vẫn đáng kể: tăng độ dài từ năm đến 10 câu hỏi đã giảm tỷ lệ hoàn thành 3,3%, từ 19,9% xuống 16,6% và tăng lên 25 câu hỏi giảm tỷ lệ hoàn thành 3,7% xuống 16,2% (p -Giá trị: 0,01311).

Không có sự khác biệt có ý nghĩa thống kê về tỷ lệ hoàn thành giữa cả hai nhóm khi những người tham gia nhận được thông tin liên lạc trước khảo sát cho họ biết thời lượng khảo sát.

Nhìn vào tất cả các phương pháp điều trị cùng nhau, sự kết hợp điều trị tối ưu cho những điều đã biết là một với năm câu hỏi và bất kỳ số tiền khuyến khích hoặc giao tiếp tiền khảo sát. Đối với các ẩn số, sự kết hợp điều trị tối ưu là một kết hợp với 100KES và bất kỳ thời lượng khảo sát hoặc giao tiếp tiền khảo sát nào (Bảng 3).

Bảng 3. Tỷ lệ hoàn thành bằng mẫu phụ và kết hợp điều trị của khuyến khích, thời gian khảo sát và truyền thông tiền khảo sát.

3.2. Cách cải thiện chất lượng phản hồi

Câu hỏi đảo ngược

Các câu trả lời khác nhau đáng kể tùy theo câu hỏi được hỏi, đặc biệt khi so sánh các câu hỏi được hỏi gần đầu với các câu hỏi gần cuối cuộc khảo sát. Đối với năm câu hỏi khảo sát thứ tự (câu hỏi 25, 8, 7, 3 và 1 trong đó câu hỏi 25 sẽ xuất hiện dưới dạng câu hỏi thứ 25 trong điều kiện thứ tự tiêu chuẩn hoặc thứ 1 trong điều kiện thứ tự ngược lại), các câu trả lời có ý nghĩa 'tích cực' hơn đối với Likert tỷ lệ (như trong dễ chịu hơn hoặc có khả năng so với ngược lại) khi câu hỏi đến sau trong khảo sát. Sau khi chuyển đổi tập dữ liệu thành nơi mỗi quan sát là một tổ hợp câu hỏi của người tham gia duy nhất - có nghĩa là mỗi người tham gia có nhiều quan sát như câu hỏi đã hoàn thành - và kiểm soát các hiệu ứng cố định của người trả lời, thứ tự câu hỏi dự đoán rất mạnh về các câu trả lời trên tất cả các câu hỏi (p <0,01 ).

Biến thể tùy chọn đáp ứng

Khi thứ tự của sự không đồng ý mạnh mẽ đồng ý mạnh mẽ thang đo tùy chọn Likert đã bị đảo ngược cho câu hỏi 4, vì trong những người được hỏi đã thấy 'không đồng ý mạnh mẽ' trước tiên trong các lựa chọn trả lời so với việc thấy 'đồng ý mạnh mẽ' trước tiên, tỷ lệ những người chọn 'không đồng ý mạnh mẽ' hoặc 'không đồng ý' giảm đáng kể từ 16,2% xuống còn 8,0% khi được chuyển xuống cuối danh sách (p <0,001). Sự khác biệt đáng kể này không được tìm thấy cho câu hỏi 9 khi đảo ngược các tùy chọn trả lời không phải của Likert 'Có, có thể, tôi không biết, Không thực sự, số' Người tham gia không chỉ chọn tùy chọn đầu tiên cho tất cả các câu hỏi và dưới 1% trong số những người tham gia đã chọn tùy chọn đầu tiên hơn một nửa thời gian, cho thấy sự khác biệt đáng kể trong việc chọn tùy chọn đầu tiên cho câu hỏi 4 là từ những người tham gia cung cấp phản hồi thực tế và không chỉ nhất quán chọn tùy chọn đầu tiên theo mặc định để tiến hành khảo sát.

Không có sự khác biệt đáng kể về tỷ lệ hoàn thành nếu người tham gia được cung cấp câu trả lời kết thúc mở cho một câu hỏi so với nhiều lựa chọn. Nhìn chung, 94,1% những người trả lời các tùy chọn văn bản mở trong câu hỏi 2 và 6 đã cung cấp dữ liệu dễ hiểu. Khi so sánh các câu trả lời văn bản mở với các tùy chọn kín đáo cho các câu hỏi này, các câu trả lời phổ biến nhất từ ​​bộ phản hồi riêng biệt cũng được nêu rõ trong các câu trả lời văn bản mở. Ví dụ trong câu hỏi 6, về yếu tố nào là quan trọng đối với bạn khi lên matatu?, Các loại câu trả lời riêng biệt phổ biến nhất - 'số người trong matatu' và 'điều kiện của matatu' - đều nằm trong ba chủ đề hàng đầu trong một phân tích theo chủ đề của các phản hồi văn bản mở (Xe, Lái xe, Không gian / Công suất). Một mô hình tương tự đã được xác định cho câu hỏi 2: các loại câu trả lời rời rạc phổ biến nhất cho câu hỏi Bạn nghĩ vấn đề lớn nhất của các nhạc trưởng matatu là gì? "Đó là 'Quá tải hành khách' và 'Ngôn ngữ thô lỗ' và ba chủ đề hàng đầu cho cùng một vấn đề này câu hỏi là Rudiness và hành vi sai trái, Giá vé và Quá tải.

Tuy nhiên, phân tích theo chủ đề của các phản hồi văn bản mở cũng mang lại các chủ đề nhất quán không phải là một phần của các tùy chọn rời rạc. Tương tự, một số tùy chọn riêng biệt không có tính năng nổi bật trong các phản hồi văn bản mở. Đối với Câu hỏi 6, câu trả lời rời rạc phổ biến thứ ba, ‘không trung thực, hoàn toàn không có tính năng trong các câu trả lời văn bản mở, trong khi các chủ đề‘ lạm dụng, hành vi sai trái và kiêu ngạo, đặc trưng trong văn bản mở. Thật thú vị, trong Câu hỏi 2 chủ đề nhất định mà chúng tôi đã không nghĩ đến như matatus không có dây an toàn, và sự say sưa của các nhạc trưởng không nhận ra là nổi bật.

4. Thảo luận

Trong nghiên cứu này, chúng tôi thấy rằng những người biết rằng họ sẽ nhận được các cuộc khảo sát SMS có nhiều khả năng hoàn thành các cuộc khảo sát di động của họ. Với số lượng thư rác lớn được gửi đến điện thoại di động trong khu vực, không có gì đáng ngạc nhiên khi những người tham gia cảm thấy thoải mái hơn khi trả lời khi họ quen thuộc với nguồn này.

Nhìn cụ thể vào các phương pháp điều trị khác nhau theo nhóm, những người không quen thuộc với các cuộc khảo sát trên thiết bị di động có nhiều khả năng hoàn thành khảo sát trên thiết bị di động khi được khuyến khích ít nhất 25KES với tỷ lệ hoàn thành cao nhất xảy ra với ưu đãi 100KES. Sự khác biệt này không được thấy trong dân số được biết cho thấy các khuyến khích là động lực tốt hơn cho các quần thể chưa biết để hoàn thành các cuộc khảo sát SMS so với các quần thể đã biết có thể được thúc đẩy từ bên trong. Điều này cũng có thể được liên kết với thực tế là các thành viên của khán giả mSurvey đã quen với việc nhận 20KES để hoàn thành các cuộc khảo sát nhận được bên ngoài nghiên cứu này và do đó có mối quan tâm lâu dài hơn khi tham gia.

Những người quen thuộc với các cuộc khảo sát trên thiết bị di động có nhiều khả năng hoàn thành một cuộc khảo sát trên thiết bị di động khi cuộc khảo sát này ngắn (dưới năm câu hỏi). Bản chất của SMS là gửi các tin nhắn ngắn và súc tích như được đề xuất trong tên SMS: dịch vụ nhắn tin ngắn. Phần lớn mSurveys là 10 câu hỏi hoặc ít hơn, do đó những người quen thuộc với dịch vụ này dự kiến ​​các cuộc khảo sát trên thiết bị di động của họ sẽ ngắn.

Như đã nói, sự khác biệt về tỷ lệ hoàn thành giữa các khoản tiền khuyến khích lớn hơn so với thời gian khảo sát, cho thấy rằng các cuộc khảo sát dài hơn có thể khả thi trong khu vực nếu có kèm theo ưu đãi phù hợp. Tuy nhiên, sự suy giảm tỷ lệ hoàn thành là đáng kể nhưng nhỏ: tỷ lệ hoàn thành tối đa giảm 5% khi thêm 20 câu hỏi khảo sát. Cuối cùng, các nhà nghiên cứu có thể chọn tối đa hóa nội dung (nghĩa là bao gồm các câu hỏi bổ sung) và không tăng động lực nếu họ cảm thấy thoải mái với ít người trả lời hoàn thành khảo sát.

Chúng tôi cũng nhận thấy rằng những người có nhiều khả năng trả lời các cuộc khảo sát SMS trên cả hai quần thể đều ở độ tuổi 25, 29 và nam. Điều này phù hợp với bằng chứng từ mSurvey trong việc tuyển dụng một mẫu thuận tiện trên khắp Kenya - đàn ông và những người dưới 30 tuổi thường đồng ý tham gia các cuộc khảo sát SMS trên thiết bị di động của họ.

Trên cả hai nhóm, không có sự khác biệt về tỷ lệ hoàn thành nếu người tham gia biết thời gian khảo sát trước thời hạn và lần lượt lượng thời gian họ cần để hoàn thành khảo sát. Điều này cho thấy rằng việc biết trước thời lượng khảo sát không nhất thiết là một động lực trong các khảo sát SMS.

Đối với chất lượng câu trả lời, vị trí trong một cuộc khảo sát nơi một câu hỏi được hỏi ảnh hưởng đáng kể đến chất lượng câu trả lời trong một số trường hợp. Thực tế là điều này chỉ có ý nghĩa thống kê đối với các câu hỏi khi bắt đầu một cuộc khảo sát (hoặc kết thúc cuộc khảo sát cho nhóm điều trị) phù hợp với các giải thích lý thuyết: sự mệt mỏi về nhận thức hoặc thể chất khi trả lời nhiều câu hỏi ảnh hưởng đến cách đối tượng trả lời câu hỏi. Một trong hai khảo sát nên ngắn gọn hoặc nếu cần nhiều câu hỏi, những câu hỏi thích hợp hơn sẽ xuất hiện ở đầu cuộc khảo sát để đảm bảo thu thập dữ liệu trong trường hợp mệt mỏi.

Những người trả lời được lựa chọn trả lời theo thang điểm đồng ý mạnh mẽ - không đồng ý mạnh mẽ hơn khi các tùy chọn ở gần đầu danh sách. Chúng tôi có thể suy đoán rằng các tùy chọn này nổi bật hơn, và do đó nhiều khả năng sẽ được chọn, bất kể nội dung của chúng. Trong câu hỏi mà phát hiện này không được giữ, các tùy chọn trả lời thứ tự ít gần với tuyến tính hơn (ví dụ: Có, Có thể, Không, v.v.) đề xuất các câu trả lời không khác nhau theo thứ tự cho tất cả các bộ tùy chọn phản hồi. Tuy nhiên, thứ tự phản hồi nên được xem xét hoặc thay đổi ngẫu nhiên để giảm thiểu sai lệch so với thứ tự phản hồi.

Ngược lại, chúng tôi không tìm thấy sự khác biệt về tỷ lệ hoàn thành nếu người tham gia được cung cấp các câu hỏi mở so với nhiều lựa chọn cho thấy người tham gia vẫn ổn khi trả lời các câu hỏi mở trên SMS.

Đối với phản hồi bằng văn bản mở, sự phong phú của các chủ đề bắt nguồn từ dữ liệu được nhấn mạnh bởi tỷ lệ phản hồi dễ hiểu cao - một hạn chế lớn của các câu hỏi khảo sát văn bản mở SMS. Với điều này và so sánh phân tích theo chủ đề với các câu trả lời phân loại, các câu hỏi văn bản mở là một phương tiện hữu hiệu để thu hút dữ liệu trong các khảo sát SMS và có thể mạnh mẽ khi các xu hướng hiện tại quá ít để tạo thành một tập hợp các tùy chọn rời rạc.

Tóm lại, để thu thập dữ liệu tốt nhất, ai đó thiết kế khảo sát SMS nên:

a.) Tuyển dụng một mẫu mà họ biết rằng họ sẽ nhận được các cuộc khảo sát SMS

b.) Giữ các cuộc khảo sát di động tối đa 5 câu hỏi hoặc cung cấp một động lực cao hơn cho các cuộc khảo sát dài hơn

c.) Chọn ngẫu nhiên câu hỏi và thứ tự tùy chọn trả lời để cải thiện chất lượng câu trả lời

d.) Sử dụng các câu hỏi mở trong đó thiếu dữ liệu định tính hỗ trợ cho câu hỏi

e.) Biết rằng nam giới và những người dưới 30 tuổi có nhiều khả năng hoàn thành khảo sát SMS nhất

Báo cáo sẵn có dữ liệu

Tất cả dữ liệu và tài liệu liên quan cho nghiên cứu này có thể được tìm thấy trên Khung khoa học mở tại đây:

https://osf.io/frqm2/?view_only=692c84fa3a50428082acd703fdee0c58

Người giới thiệu

  1. Cơ quan truyền thông Kenya (ngày 1 tháng 1 - ngày 31 tháng 3 năm 2018), Báo cáo thống kê ngành quý 3 năm 2017/2018. Truy cập trực tuyến: https://ca.go.ke/wp-content/uploads/2018/07 /Sector-Statistic-Rport-Q3-2017-18-2.pdf
  2. R. Lester, P. Ritvo, E. Mills, Kariri, S. Karanja, M. Chung, W. Jack, J. Habyarimana, M. Sadatsafavi, M. Najafzadeh, C. Marra, B. Estambale, E. Ngugi, Lao Ball, L. Thabane, L. Gelmon, J. Kimani, M. Ackers, F. Plummer (2010), Hiệu ứng của dịch vụ tin nhắn ngắn trên điện thoại di động về tuân thủ điều trị bằng thuốc kháng vi-rút ở Kenya (WelTel Kenya1): một thử nghiệm ngẫu nhiên, Lancet, 376, 1838 Từ1845.
  3. D. Zurovac, R. Sudoi, W. Akhwale, M. Ndiritu, D. Hamer, A. Rowe, R. Snow (2011), trộm Hiệu quả của việc nhắc nhở tin nhắn văn bản trên điện thoại di động đối với việc tuân thủ điều trị sốt rét của nhân viên y tế Kenya hướng dẫn: một thử nghiệm ngẫu nhiên theo cụm, nhóm Lanc Lancet, 378, 795.
  4. J. Barrington, O. Wereko-Brobby, P. Ward, W. Mwafongo, S. Kungulwe, SMS for Life: một dự án thí điểm để cải thiện quản lý cung ứng thuốc chống sốt rét ở nông thôn Tanzania bằng công nghệ tiêu chuẩn (2010), Malaria Journal, 9, 1 Tiếng9.
  5. Mourão, Sandro và Karla Okada (2010). Điện thoại di động như một công cụ để thu thập dữ liệu trong nghiên cứu thực địa, Học viện Khoa học, Kỹ thuật và Công nghệ Thế giới, 70 (43), 222 Từ226.
  6. Nanna, M. J., & Sawilowsky, S. S. (1998). Phân tích dữ liệu của thang đo Likert trong nghiên cứu phục hồi chức năng và khuyết tật, Phương pháp tâm lý học, 3 (1), 55 cạn67.
  7. de Winter, J. C. F. và D. Dodou (2012). Các hạng mục Likert của Five Five Point: t test so với Mann-Whitney-Wilcoxon, Đánh giá thực tế, nghiên cứu và đánh giá, 15,11. Có sẵn trực tuyến: http://pareonline.net/getvn.asp?v=15&n=11.