Python unicode normalleşme: Doğru u tercüme etmektir '\ xb4' u' \ u0301' Aşağıdaki kod parçasında en

Question

bakmak için:

>>> import unicodedata 
>>> from unicodedata import normalize, name 

>>> normalize('NFKD', u'\xb4') 
u' \u0301' 

>>> normalize('NFKD', u'a\xb4a') 
u'a \u0301a' 

>>> normalize('NFKC', u'a\xb4a') 
u'a \u0301a' 

>>> name(u'\xb4'), name(u'\u0301') 
('ACUTE ACCENT', 'COMBINING ACUTE ACCENT') 

Ben davranıştır u' \u0301' için u'\xb4' çevirmek için eğer anlamaya çalışıyorum doğru. Neden akut aksanı bir boşlukla birleştiriyor? Neden u \xb4'u çevirir? fileformat numaralı telefondan ACUTE ACCENT'un SPACING ACUTE olarak adlandırıldığını görüyoruz. Bunu sadece imleci yazılmasını yerine şu karakter için bekleyen hareket etmeliyiz anlamına geliyordu, düşünce

UPD:. Vaka birisi ilgileniyor burada, bir liste ise Unicode karakterleri o NFKC normalleştirme bir boşluk var sonra başlangıç: http://pastebin.com/Z99r5AK9

Answer 1

bir vurgu karakteri Unicode standardına belirtildiği gibi bir boşluk kombinasyonu ve bir birleşme vurgu karakter: \u00B4 karakter biraz belirsiz bir geçmişi vardır

>>> import unicodedata 
>>> unicodedata.decomposition(u'\xb4') 
'<compat> 0020 0301' 

ama Unicode'un bunu whitespace olarak ele almaya karar verdi + aksan, olmasına rağmen sadece bir diasetik işareti olarak kullanılmış, bkz. this discussion.

\u02CA'u alternatif olarak kullanabilirsiniz; Bu, boşluk olarak kabul edilmez ve belirtilen bir ayrıştırma yoktur. Bunun yerine bir harf olarak nitelendirilir, bu yüzden kilometreniz değişebilir.

Answer 2

Unicode Collation Algorithm belgesine bir bakın. Özel olarak, bu

uyumluluk normalleştirme dikkat (NFKC) tek başına katlanabilir birleştirme vurgu + alan bir kombinasyonuna vurgular. İlk karakter vurgulu edilmesi ve daha sonra bir araya vurgu:

NFKD olarak

Answer 3

, vurgulu karakterler, bir "bölünmüş" bir şekilde saklanır NFKC olarak u' \u0301'

, vurgulu karakterler bir "birleşik" bir şekilde saklanır : Özel bir Unicode kod noktası var: u'\xb4', u'\u00b4' için shorthand. Her ikisi de, bir boşluk karakteri üzerinde bir aksan olarak görülebilen, tek başına olan aksanı temsil etmektedir.