Dự án cá nhân | Phân tích review ứng dụng Chat AI
Chat Smith: người dùng đang khen gì và chê gì trên store
Mình đã cào review công khai của Chat Smith trên Google Play và App Store, lọc tiếng Anh, rồi thực hiện các dashboard theo số sao và chủ đề theo keyword. Mình muốn biết sự phản hồi trực tiếp của người dùng đối với app một cách khách quan nhất từ đó tìm kiếm các insight hoặc vấn đề và user thực sự gặp phải .
10,750 review Google Play và 2,316 review App Store.
Bước 1. Dataset hiện tại
Trước khi phân tích: hãy cùng xem phần tổng quan về dataset mình đang có, rating như thế nào, review đến từ Android hay iOS, store nào.
Biểu đồ thể hiện số review thu thập được, không phải thị phần người dùng. Android có thể bị giới hạn số review từ từng store; iOS lấy review theo App Store (storefront), không phản ánh chính xác quốc gia người dùng đang sống.
Bước 2. Xu hướng theo tháng
Bước 3. Mức độ hài lòng theo số sao
complaint_signal khi tiêu đề hoặc nội dung review có chứa các từ khóa liên quan đến khiếu nại
| Nhóm keyword | Keyword mẫu | Ý nghĩa |
|---|---|---|
| Monetization | pay, charged, billing, subscription, refund, cancel, paywall | Người dùng phàn nàn về giá, subscription, trial, trừ tiền hoặc refund. |
| Performance | crash, bug, error, slow, loading, not working | App lỗi, chậm, hoặc không chạy. |
| Answer quality | wrong, incorrect, not helpful, useless, bad answer | Câu trả lời sai, vô ích, hoặc chất lượng kém. |
| Trust / support / ads | scam, privacy, misleading, support, contact, ads | Nghi ngờ lừa đảo, hỗ trợ kém, hoặc quảng cáo gây khó chịu. |
Bước 4. Người dùng đang không hài lòng về điều gì
Mình sẽ chia ra các tính năng chính thường có của 1 app về AI/SaaS nói chung, so khớp trên title và nội dung.
Ví dụ gắn nhãn bằng keyword
It charged me $100 per month. I’ve had other apps that have charged me before but I was able to afford it. I’m not paying $100 that would be 1200. I’m not spending that money. Of course there was a free trial so I did that it went through everything was fin...
8/26/24 This ai can not answer how many times the letter r occurs in the word strawberry I have to give it a lesson plan each time, so the integrity of it’s capabilities is in question They will be adamant that the letter r only occurs twice in the word str...
There's a error on claculating math I tried to double check my fractions to this app and at first I thought is wrong so I erase my first answer and my answer is correct and the ai answer is wrong I have did the calculations in paper now I wasted my time and...
Bước 5. Người dùng đang hài lòng về điều gì
Review khen được chia theo loại giá trị của một AI chatbot. Nếu người dùng chỉ viết good, nice, great mà không nói rõ dùng app để làm gì, review đó vào sẽ cho vào nhóm khen chung chung.
Ví dụ gắn giá trị bằng keyword
...e emails for u and help u with math and homework and quotes. It also has jokes and an image generator which is very cool!!! Another thing I love about this is that whenever you ask some thing or say thank you, the ai always replies in the sweetest and kindest...
...in one place and remembers things from one chat to the next draws lines. It keeps my workflow going steady keeps my personal life and appointments going steady no hiccups no coughs no bad attributes. As far as I can see help my daughter with schoolwork helps...
...itize clear communication channels, ensuring that all parties involved have access to accurate information. Ethical Decision-Making: Decisions should be guided by moral principles, considering the impact on all stakeholders. This approach not only fosters trus...
...support to this app. Some of my Chinese friends have indicated that while the current interface does not significantly hinder their usage, the English language inevitably reduces their overall efficiency. The addition of Chinese language support would greatly...
...when I say the best is the best thing you could ever use for your homework. This app help me get my grades more up than it usually is I had a 67 and I’m at 95 make sure you guys go and download this app because it’s the best thing actually and this really hel...
Bước 5A. Tìm kiếm use case cụ thể hơn
Ở bước này chỉ lấy review 4-5 sao nói rõ người dùng dùng app để làm gì.
| Use case | Keyword mẫu | Toàn kỳ | 12 tháng đầy đủ | % review tích cực |
|---|---|---|---|---|
| Learning / Homework | homework, study, student, school, math, assignment, education, exam, solve, explain, notes, reading | 374 | 61 | 4.0% |
| Research / tìm kiếm | research, search, sources, information, find answers, knowledge | 236 | 34 | 2.5% |
| Viết nội dung / email | write email, writing email, emails, essay, article, rewrite, grammar, cover letter | 102 | 17 | 1.1% |
| Năng suất / quản lý việc | productivity, productive, save time, faster, work tasks, organize, brainstorm, ideas | 95 | 27 | 1.0% |
| Dịch thuật / ngôn ngữ | translate, translation, language, translator, english, spanish, french | 74 | 10 | 0.8% |
| Tạo ảnh / sáng tạo | generate image, image generation, create image, art, photo, creative, design, picture | 66 | 20 | 0.7% |
| Coding / debug | code, coding, programming, debug, developer, software, python, javascript | 35 | 6 | 0.4% |
| Tài liệu / tóm tắt | summarize, summary, document, pdf, file, notes, youtube | 29 | 4 | 0.3% |
Bước 6. So với các App ChatAI khác
So sánh Chat Smith với vài chatbot AI trong cùng thị trường US/English.
| App | Số review | Rating TB | % tiêu cực | Tín hiệu monetization | Khen cụ thể | Cỡ mẫu |
|---|---|---|---|---|---|---|
| Chat Smith: AI Chatbot & Agent | 1490 | 3.67 | 29.8% | 9.7% | 9.2% | Đủ mẫu |
| AI Chatbot - Nova | 2872 | 3.62 | 31.4% | 11.5% | 4.8% | Đủ mẫu |
| ChatOn AI - Chat Bot Assistant | 1784 | 3.88 | 24.4% | 12.4% | 16.6% | Đủ mẫu |
| Chatbot AI Assistant - Genie | 1088 | 3.89 | 23.1% | 11.1% | 3.3% | Đủ mẫu |
Bước 7. Android và iOS
Tiếp tục so sánh iOS với Android.
Bước 8. Ccụm từ nổi bật từ phía người dùng
Mục đích là xem người dùng hay sử dụng những từ nào để có thể tìm ra góc nhìn khác về insight.
Kết luận và next step:
- Check lại luồng của người về việc thanh toán (luồng thanh toán, quá trình refund, thời gian trial, subscription ... )
- 2k review IOS đang có 35,5% tiêu cực, 10k review android đang có 20% tiêu cực, mặc dù so sánh cả 2 là không tương quan vì chênh lệch số lượng do data này là do chính mình cào, tuy nhiên nó cũng sẽ là 1 tín hiệu với team phát triển để có thể cân bằng tỉ lệ này giữa 2 nền tảng cũng như check kỹ hơn cho tệp đối tượng IOS
- Đã tìm được các use case cụ thể từ người dùng, có thể dùng nó để nghiên cứu về nhóm chiến lược phát triển khách hàng mục tiêu mới hoặc UA có thể focus tập khách hàng này hơn trong tương lai
Lưu ý các thông tin này chỉ mang mục đích nghiên cứu dự án, không nhằm mục đích phá hoặc gây ảnh hưởng đến các ứng dụng được đề cập
Cần phân tích dữ liệu app hoặc review tương tự?
Nếu bạn cần gom dữ liệu review, đọc tín hiệu người dùng hoặc biến dữ liệu store thành dashboard dễ ra quyết định, mình có thể trao đổi thêm.