24-1_DSL_Modeling_A-uto-ssignment

24-1_DSL_Modeling_A(uto)ssignment

주제

• 사용자가 원하는 번호만을 추출하여 하나의 문제집으로 제작

Team 유현동 정성오 김현동 고현아

---

Overview

[발표 자료]

Purpose

두꺼운 전공 교재의 페이지를 넘기면서 문제를 찾고, 이를 메모장에 일일이 옮기는 작업을 자동화해주기 위함이다.

Overall Pipeline

---

• Question을 식별하기 위한 YOLOv7
• Question num을 인식하기 위한 PORORO

---

Model

---

1) PDF to image

---

• 'fitz': 이 모듈은 PyMuPDF 라이브러리의 일부로, PDF 파일을 다루기 위해 사용됩니다.
• 역할 : 교재 pdf를 input으로 받으면, 각 페이지를 image로 변환
• Installation and run : 'pdf_to_image.py'

2) YOLOv7

"You Only Look Once" 시리즈의 최신 버전 중 하나로, 실시간 객체 탐지를 위한 딥러닝 모델이다. YOLO v7 말고 v6, v8도 사용했는데, bounding box 정확성 수치와 최종 결과가 v7이 가장 정확하게 나와 채택했습니다.

YOLOv7 paper

• Roboflow를 통해 Image Segmentation이 완료된 훈련 데이터를 입력으로 받아, YOLOv7 fine-tuning 진행
• 이후 입력된 이미지에서 'question' 부분을 탐지하고 해당 부분을 crop하여 이미지로 저장

Result

---

3) PORORO ; Optical Character Recognition

• YOLOv7 모델을 통해 추출된 문제 이미지에서 문제 번호를 정확하게 식별하고, 이를 파일명으로 사용하여 이미지를 저장하기 위해 사용

Dataset

---

• Introduction to Mathematical Statistics PDF

Final Result

---

User Interaction

---

Final Workbook Result

---

File Description

---

• Pdf To Image
  • 'pdf_to_image.py'
• YOLOv7
  • 'yolov7x.pt' : pretrained parameter for Yolov7-X model
  • 'YOLOv7_fine_tuned_params.pt' :pretrained parameter by a textbook (Introduction to Mathemtical Statistics)
• PORORO
  • 'pororo_implementation.py' : OCR model
• User Interaction
  • 위의 전체 모델을 연결하여 최종 결과를 도출해내는 py 파일