Scrub ile JSON yanıtı kazıma

Question

JSON'a geri dönen web isteklerini kazıyarak Scrapy'i nasıl kullanırsınız? Örneğin, JSON şu şekilde görünecektir: Belirli öğeleri (yukarıdaki örn name ve fax) kazımak ve csv kaydetmek isteyen olurdu

{ 
    "firstName": "John", 
    "lastName": "Smith", 
    "age": 25, 
    "address": { 
     "streetAddress": "21 2nd Street", 
     "city": "New York", 
     "state": "NY", 
     "postalCode": "10021" 
    }, 
    "phoneNumber": [ 
     { 
      "type": "home", 
      "number": "212 555-1234" 
     }, 
     { 
      "type": "fax", 
      "number": "646 555-4567" 
     } 
    ] 
} 

.

Answer 1

html yanıtları için Scrapy's HtmlXPathSelector'u kullanmakla aynı şey.

class MySpider(BaseSpider): 
    ... 


    def parse(self, response): 
     jsonresponse = json.loads(response.body_as_unicode()) 

     item = MyItem() 
     item["firstName"] = jsonresponse["firstName"]    

     return item 

Umut yardımcı olur: Tek fark yanıtı ayrıştırmak için json modülü kullanmak gerektiğidir.

Answer 2

JSON yüklenememesinin olası sebebi, önce ve sonra tek tırnak işareti olmasıdır. Bu deneyin:

json.loads(response.body_as_unicode().replace("'", '"'))