Я использую pdfminer с python 3 и получаю странные буквы в тексте, восстановленном из pdf.
Например, я получаю significant
вместо significant
(обратите внимание, что буквы f
и I
объединены в одну).
Я понятия не имею, почему это происходит. Это код, который я использую.
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
from io import StringIO
from nltk.tokenize import sent_tokenize
def convert_pdf_to_txt(path):
rsrcmgr = PDFResourceManager()
retstr = StringIO()
codec = 'utf-8'
laparams = LAParams()
device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
fp = open(path, 'rb')
interpreter = PDFPageInterpreter(rsrcmgr, device)
password = ""
maxpages = 0
caching = True
pagenos=set()
for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True):
interpreter.process_page(page)
text = retstr.getvalue()
sentences = sent_tokenize(text)
for s in sentences:
print(s)
print("\n\n")
Мое единственное предположение до сих пор заключается в том, что это может быть связано с кодировкой, но кажется, что невозможно получить кодировку pdf
fi
– это обычная лигатура. - person Chris   schedule 18.10.2018fi
наfi
. (Есть как минимум еще одна общая лигатура.) - person Jongware   schedule 18.10.2018