ThucPD commited on
Commit
41d55e0
·
verified ·
1 Parent(s): 15660b1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -134
README.md CHANGED
@@ -156,7 +156,9 @@ Please contact **[email protected]** for API access inquiry.
156
 
157
  ## Examples 🧩
158
 
159
- ### Example 01: OCR - Optical Character Recognition for Image
 
 
160
 
161
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
162
  <div style="text-align: center; margin: 0 10px;">
@@ -188,7 +190,7 @@ Please contact **[email protected]** for API access inquiry.
188
  }
189
  ```
190
 
191
- ### Example 01: OCR - Optical Character Recognition for Image
192
 
193
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
194
  <div style="text-align: center; margin: 0 10px;">
@@ -222,7 +224,7 @@ Please contact **[email protected]** for API access inquiry.
222
  }
223
  ```
224
 
225
- ### Example 01: OCR - Optical Character Recognition for Image
226
 
227
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
228
  <div style="text-align: center; margin: 0 10px;">
@@ -253,137 +255,6 @@ Please contact **[email protected]** for API access inquiry.
253
  }
254
  ```
255
 
256
- ### Example 02: OCR - Optical Character Recognition for PDF
257
-
258
- <div align="left">
259
- <img src="images/images_phieuphambenh_1.png" width="500"/>
260
- </div>
261
- <!-- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/IrX-QP67TZTcTl3vlp1uZ.png) -->
262
-
263
- ```
264
- {
265
- "header": {
266
- "title": "PHIẾU KHÁM BỆNH",
267
- "date": "Hà Nội, ngày 23 tháng 3 năm 2020",
268
- "patient_info": {
269
- "id": "HN011000002",
270
- "name": "Vương Hồng Thắng - Năm sinh: 1978",
271
- "address": "Số 10 tầng 2, TTTM V+, Số 505 Phố Minh Khai, Quận Hai Bà Trưng, Hà Nội",
272
- "phone": "+0942116117",
273
- "email": "[email protected]"
274
- },
275
- "contact_info": {
276
- "address": "Nhà Khoa Bamufit\nĐịa chỉ: 505, Phố Minh Khai, Hai Bà Trưng, Hà Nội, Việt Nam",
277
- "phone": "0942484784",
278
- "email": "[email protected]",
279
- "website": "https://bamufit.vn"
280
- }
281
- },
282
- "treatment_details": [
283
- {
284
- "visit_date": "13-09-2019",
285
- "treatment_type": "Chẩn đoán: Abscess chẽ",
286
- "procedure": "Cắt lợi bằng Laser r23",
287
- "doctor": "THỊ HIEN",
288
- "price": "500,000",
289
- "quantity": "1",
290
- "discounted_price": "0",
291
- "total_cost": "500,000"
292
- },
293
- {
294
- "visit_date": "13-09-2019",
295
- "treatment_type": "Chẩn đoán: Abscess quanh chóp",
296
- "procedure": "Bám gai xuống ở răng r23",
297
- "doctor": "THỊ HIEN",
298
- "price": "100,000",
299
- "quantity": "1",
300
- "discounted_price": "0",
301
- "total_cost": "100,000"
302
- }
303
- ],
304
- "financial_details": {
305
- "total_cost": "600,000",
306
- "discounted_total": "0",
307
- "paid_amount": "1,114,000",
308
- "remaining_balance": "1,714,000"
309
- },
310
- "notes": "- Kiêng ăn uống đồ để gây nhiễm mủ như chè, cà phê, thuốc lá, rượu vang đỏ .. và hạn chế dùng đồ quá nóng, quá lạnh sau khi tẩy trắng răng ít nhất 2 tuần.",
311
- "footer": {
312
- "customer_signature": "(Ký và ghi rõ họ tên)",
313
- "accountant_signature": "(Ký và ghi rõ họ tên)",
314
- "dentist_signature": "(Ký và ghi rõ họ tên)"
315
- }
316
- }
317
- ```
318
- ### Example 03: Image Captioning w/ Hand-writing
319
-
320
- <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/WAzO6Pzh3PY3mb31-VMbd.jpeg) -->
321
- <div align="left">
322
- <img src="https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/WAzO6Pzh3PY3mb31-VMbd.jpeg" width="500"/>
323
- </div>
324
-
325
- Hình ảnh là một bức chân dung của **<span style="color:red">Chủ tịch Hồ Chí Minh**</span>, được in trên nền giấy màu vàng. Bên trái hình ảnh là chân dung của Hồ Chí Minh, với nét mặt nghiêm nghị, râu quai nón và tóc bạc. Bên phải hình ảnh là một đoạn văn bản viết tay bằng tiếng Việt, với nội dung: **<span style="color:blue">'Khuyên đồng bào nam nữ 18 tuổi trở lên hôm nay tất cả đều đi bỏ phiếu, để bầu những đại biểu xứng đáng, vào Quốc hội đầu tiên của nước ta.'</span>** Dưới đoạn văn bản là chữ ký 'Hồ Chí Minh' và ngày tháng '6,1,46'.
326
-
327
- ### Example 04: Image Captioning
328
-
329
- <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg) -->
330
- <div align="left">
331
- <img src="images/images_bieudo.jpeg" width="500"/>
332
- </div>
333
-
334
- Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi</span>, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: **<span style="color:red">vùng màu đỏ</span>** ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; **<span style="color:orange">vùng màu vàng</span>** nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và **<span style="color:green">vùng màu xanh lá cây</span>** ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ '**Béo phì**', '**Nguy cơ béo phì**', '**Sức khỏe dinh dưỡng tốt**', và '**Thiếu cân**' để mô tả từng khu vực tương ứng với chỉ số BMI.
335
-
336
- ### Example 05: Image Captioning
337
-
338
- <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->
339
-
340
- <div align="left">
341
- <img src="images/images_langque_1.jpg" width="500"/>
342
- </div>
343
-
344
- Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. **<span style="color:green">Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình</span>**. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. **<span style="color:blue">Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm</span>**. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
345
-
346
- ### Example 06: Visual Question Answering
347
-
348
- <div align="left">
349
- <img src="images/images_biencadoitheo_3.jpg" width="500"/>
350
- </div>
351
-
352
- - **User**: Hãy mô tả nội dung của bức ảnh này một cách thật chi tiết và không giải thích gì thêm
353
-
354
- - **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: **<span style="color:green">'Sofia's bear was old, tatty and very well loved.'** </span> (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: **<span style="color:green">'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.'** </span>. Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.
355
-
356
- ### Example 07: Multi-turns Visual Question Answering and Reasoning
357
-
358
- <div align="left">
359
- <img src="images/images_henkham_0.jpg" width="500"/>
360
- </div>
361
-
362
- - **User**: Hãy trích xuất toàn bộ chi tiết của bức ảnh này theo đúng thứ tự của nội dung trong ảnh. Không bình luận gì thêm.
363
- Lưu ý:
364
- 1. Nếu có chữ trong ảnh thì phải trích xuất ra hết theo thứ tự và định dạng của câu chữ.
365
- 2. Nếu có bảng biểu (table) thì phải trả lại định dạng như bảng biểu trong hình và text của nó.
366
- 3. Nếu bức ảnh không có bất kỳ ký tự nào, hãy diễn giải bức ảnh đó.
367
- 4. Chỉ trả lại bằng tiếng Việt.
368
-
369
- - **Assistant**: Bức ảnh là một giấy hẹn khám lại từ **<span style="color:blue">Bệnh viện Ung Bướu Nghệ An</span>**. Giấy hẹn được cấp cho bệnh nhân **<span style="color:blue">Nguyễn Thị Luân</span>**, sinh ngày 03/07/1976, hiện đang cư trú tại Xã Nghĩa Khánh - Huyện Nghĩa Đàn - Nghệ An. Giấy hẹn ghi rõ thông tin về lần sử dụng thuốc BHYT từ ngày 01/03/2016 đến 16/12/2016, với **<span style="color:blue">số thẻ BHYT là CN 3 40 40 168 60413</span>**. Ngày khám ban đầu là 16/12/2016 và giờ khám là buổi trưa. Giấy hẹn khám lại vào ngày 17/01/2017 hoặc trước khi hết thời hạn sử dụng thẻ bảo hiểm y tế nếu có dấu hiệu triệu chứng bất thường. Giấy hẹn cũng chỉ áp dụng cho một lần khám duy nhất trong vòng 10 ngày làm việc kể từ ngày được hẹn khám lại. Bên dưới phần thông tin bệnh nhân là chữ ký của Trưởng khoa, bác sĩ điều trị và con dấu đỏ của Bệnh viện Ung Bướu Nghệ An. Ngoài ra, trên góc phải của giấy hẹn còn có dòng chữ '**<span style="color:blue">Tổng đài tư vấn 1900.6172</span>**' cùng logo của bệnh viện.
370
-
371
- - **User**: Hãy cho biết thông tin của bệnh nhân.
372
-
373
- - **Assistant**: Bệnh nhân là Nguyễn Thị Luân, sinh ngày 03/07/1976, hiện đang cư trú tại **<span style="color:blue">Xã Nghĩa Khánh - Huyện Nghĩa Đàn - Nghệ An</span>**. Số thẻ bảo hiểm y tế của bệnh nhân là **<span style="color:blue">CN 3 40 40 168 60413</span>**.
374
-
375
- - **User**: Bác sĩ điều trị cho bệnh nhân là ai?
376
-
377
- - **Assistant**: Bác sĩ điều trị cho bệnh nhân là bác sĩ **<span style="color:blue">Nguyễn Văn Việt</span>**.
378
-
379
- - **User**: Đến năm 2024 chị Luân bao nhiêu tuổi?
380
-
381
- - **Assistant**: Nguyễn Thị Luân sinh ngày **<span style="color:blue">03/07/1976</span>**, tính đến năm 2024 chị sẽ **<span style="color:blue">48 tuổi</span>**.
382
-
383
- - **User**: Vậy năm 2020 chị Luân mấy tuổi?
384
-
385
- - **Assistant**: **<span style="color:blue">Vào năm 2020</span>**, Nguyễn Thị Luân sẽ **<span style="color:blue">44 tuổi vì năm 2020 cách năm 2024 4 năm</span>**.
386
-
387
  ### Example 08: Multi-images Visual Question Answering
388
 
389
  <div style="display: flex; justify-content: left; gap: 10px;">
 
156
 
157
  ## Examples 🧩
158
 
159
+ ### 1. OCR - Optical Character Recognition for Multi-Images
160
+
161
+ **Example 01: Citizen identification card**
162
 
163
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
164
  <div style="text-align: center; margin: 0 10px;">
 
190
  }
191
  ```
192
 
193
+ **Example 02: Driver's License**
194
 
195
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
196
  <div style="text-align: center; margin: 0 10px;">
 
224
  }
225
  ```
226
 
227
+ **Example 03: Vehicle Registration Certificate**
228
 
229
  <div style="display: flex; flex-direction: row; align-items: center; justify-content: center;">
230
  <div style="text-align: center; margin: 0 10px;">
 
255
  }
256
  ```
257
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
258
  ### Example 08: Multi-images Visual Question Answering
259
 
260
  <div style="display: flex; justify-content: left; gap: 10px;">