lunedì 19 marzo 2012

Navigando in rotta web: uno sviluppatore di software dietro il Grande Firewall della Cina

Adoro venire in Cina. E 'un paese che riesce a tenere su una lunga e ricca storia e allo stesso tempo verso il futuro a un ritmo straordinariamente rapido. Inoltre, tutti sappiamo che la Cina censura pesantemente i siti web che possono essere accessibili tramite Internet.
Io lavoro molto spesso con un numero di persone in Cina e sono sempre consapevole del fatto che non vi è certo materiale che vorrei condividere con loro che non saranno in grado di accedere. Non sto parlando di qualcosa di politicamente o culturalmente sovversiva, sto parlando di semplici risorse che lavorano con gli sviluppatori di software su base giornaliera come parte del loro lavoro. O almeno quelli di fuori della Cina fanno.
Allora, qual è l'esperienza, come per loro? Che cosa può quelli di noi al di fuori della Cina conoscere ciò che i nostri coetanei dietro il Grande Firewall può fare, e cosa più importante,non si può fare? Ecco una piccola istantanea di ciò che è come cercare di accedere alle risorse tipiche userei su una base quotidiana da casa, ma non erano accessibili a me, mentre a Shanghai questa settimana.

Tecnologia blog

Permettetemi di iniziare da qualche parte vicino a casa (almeno per me): il mio blog. Ricerca per il mio nome mi porta attraverso Google a Hong Kong (ricordo che ci fu che piccolo problema in Cina, un po 'indietro), e abbastanza sicuro, ho ancora esistono:
Google ricerca di troy caccia
Il problema è che io non sono molto, uh, "visivo":
troyhunt.com con tutte le immagini rotte
Vedete, tutte queste immagini vengono tirati fuori dal blogspot.com dominio che è un no-no in Cina e quindi le cose come la mia foto del profilo non è possibile caricare. Avevo aggiunto queste immagini in una pagina di Blogger tramite interfaccia utente web che sembra essere causato loro di finire su questo dominio. Suona strano? Wikipedia sembra sostenere questo comportamento (ma è comunque strano!)
In realtà, il mio pregiudizio è che qualsiasi dominio associato a Google Blogger servizio era fuori dai limiti così mi è stato sorpreso di vedere quanto ho fatto. Una ricarica rapida presto confermato i sospetti iniziali:
troyhunt.com non viene caricata
Io non sono del tutto sicuro del perché questo è il caso, certamente le versioni precedenti non erano memorizzati nella cache (l'ho cancellato prima) e la connessione andava bene nei momenti in cui non sarebbe caricare. Ho anche osservato lo stesso comportamento erratico tra PC e iPhone.
Una volta che il contenuto in realtà carica di nuovo, le cose si fanno un po 'strano perché quando guardo un post con le immagini in esso, funzionano bene:
Le immagini in un post del blog ancora carico
L'immagine sopra è stata caricata da ggpht.com dominio che non sia bloccato. Queste immagini sono state inviate via Live Writer quando il blog è stato pubblicato e chiaramente questo dominio è permesso. Ma scorrere verso il basso un po 'nello stesso posto e le cose presto rompere di nuovo:
Embeded YouTube non riesce a caricare i contenuti
Ora stiamo incorrere in problemi perché ho ​​incorporato YouTube contenuti e YouTube èsicuramente un no-no in Cina ( Youku e la neo-acquisita Tudou sono i grandi giocatori qui).E non preoccupatevi di Vimeo - che è bloccato anche (credo che sia un servizio equivalente in termini di contenuto). In effetti incorporati contenuti in generale è un problema reale, come vedremo tra breve.
Ma naturalmente non è solo me. Ho appena andato a dare un'occhiata al blog di Dave Tchepak e, beh, non molto è successo dopo che:
davesquared.net non viene caricata
Ora io non riuscivo a ricordare ciò che la piattaforma Dave aveva il suo blog su (si gira il suo Heroku), ma questo è davvero il punto, che normalmente non hanno alcuna idea, è solo una questione di clic sui dall'e-mail / link / Tweete vedere cosa succede. E si scopre che Herokuè bloccato .

Altri siti

Ma non è solo blog, ho finito per cercare di caricare Software Nova come risultato di una ricerca su Google estranei a questo post, ma ho assolutamente nulla, mentre su una connessione internet in Cina. Ora questo non è su Blogger o Heroku - in realtà si tratta di un sito ASP.NET in esecuzione su IIS. Perché non posso accedere? Non è materiale esattamente controverso:
Il sito web Software Nova
L'indirizzo IP è su è di proprietà di ThePlanet.com che reindirizza a SoftLayer , un'organizzazione di hosting con circa 32.000 altri domini sullo stesso IP. Domini qualidatasets.com e hardwoodfloorexperts.com si legano allo stesso indirizzo IP, ma essi fannocarico dalla Cina. Chiaramente non è il servizio di SoftLayer stato bloccato, piuttosto un dominio individuale in esecuzione sul loro ambiente.
E 'stato un accordo simile quando si fa un po' di Googling per VS2010 perché stava cominciando lentamente. C'era un risultati incoraggianti nel corso sugli argomenti Dev intitolato Visual Studio 2010 Rallentamento: VMDebugger è il colpevole , ma non c'è modo che stava per caricare per me più di un gateway cinese. Poi sono andato alla ricerca di come ottenere il mio Windows 8 Anteprima dei consumatori in esecuzione in Virtual Box fino alla piena risoluzione nativa, la piena risoluzione Windows 8 Developer Preview in VirtualBox titolo sembrava incoraggiante, ma ancora una volta, nessun caricamento. Il fatto è, però, al momento di scrivere è in realtà non viene caricata per chiunque - ma se siete in Cina, come ti conoscono nemmeno?
Direi che circa il 20% dei siti di tecnologia dedicata, ho provato ad accedere semplicemente non erano accessibili. A volte. E questa è la cosa di questa situazione - non si può mai sa bene cosa sta succedendo al lavoro e ciò che non è, indipendentemente dalla piattaforma su cui può girare. Ricerca di contenuti e seguendo i link diventa come giocare alla roulette russa - ma con quote peggio.

Contenuto incorporato da domini bloccati

Praticamente ogni sito è un mashup in questi giorni in un modo o forma. Ad esempio, in circostanze normali, ecco ciò che si vede in basso il fondo quando si esegue un ASafaWebscansione:
ASafaWeb social icone dei media di carico normalmente
Ma è gestito da uscire attraverso un gateway internet in Cina e vedrete qualcosa di completamente diverso:
ASafaWeb social icone dei media non si caricano
Chiaramente i connettori social media per Twitter, Google Plus e Facebook hanno rotto. In realtà, avevo pensato che Google Plus è stato inaspettatamente permesso in Cina solo di recente, ma forse questa era una situazione molto breve.
Ma il problema va al di là dei contenuti incorporato - cosa succede se i mezzi scelti dalla firma in Stack Overflow è quello di utilizzare il tuo account Facebook:
Stack pagina di login Oveflow
Ora, naturalmente, se sei cinese, e si utilizza Stack Overflow avete intenzione di utilizzare un provider diverso auth, ma se si viaggia qui e eletto (legittimamente) usare il login Facebook, bene, ora hai un problema.
Ecco un altro - diciamo di leggere questo molto eccellente blog di Scott Hanselman :
Blog di Scott Hanselman all'indirizzo hanselman.com
Ora so che Scott mette un sacco di impegno nel rendere accessibile il suo blog e ha fatto un ottimo lavoro di essa - lo carica anche molto felicemente in Cina. Ma cosa succede se sei un lettore cinese e vorrebbe leggere un po 'di Hanselman nel vostro lettore RSS preferito? Non molto, purtroppo:
Scott Hanselman Il blog non è accessibile via RSS Feedburner
Come molti di noi, Scott usa Feedburner ed è off limits qui troppo. Beh in realtà,feedburner.com carica bene, è solo i feed sul feeds.feedburner.com dominio che non verrà caricato. Naturalmente questi ti danno la possibilità di aggirare i controlli di accesso su siti bloccati in modo piuttosto che rischiare di accesso non autorizzato, tutti i feed Feedburner sono in scatola.
Mi chiedo se l'impatto sulle prestazioni di caricamento siti con dipendenze che non possono caricare, cosa fare per il browser quando si sta caricando una scansione ASafaWeb ed è solo girare le ruote alla ricerca di quei connettori di social media che non arrivano? O che dire di tutti quei blog che incorporare ultimi tweets dell'autore e richiedono il browser per tirare direttamente da Twitter? Connessioni aperte ne facciano domanda, in ultima analisi, in mancanza non è mai una performance buona cosa saggia.

Risultati della ricerca

Ormai è abbastanza chiaro non sai mai quello che si vuole ottenere. Ma questo paradigma alza la testa in alcuni luoghi strani. Ricordate come Google non aveva intenzione di censurare in Cina più? Bene ecco l'anteprima del mio account di Twitter dopo una ricerca vanità, mentre non passa attraverso il gateway Cina:
Anteprima di Google account Twitter @ troyhunt di lavoro dei corectly
Ignorare il messaggio "Ci dispiace che la pagina non esiste" per un momento (non ho idea del perché questo sta arrivando - ma è proveniente da Twitter), ora facciamo carico che, attraverso il Great Firewall:
Anteprima di Google account Twitter @ troyhunt non funziona
Tutte le immagini di anteprima altre venire bene così evidentemente c'è qualche filtro in corso con l'anteprima Twitter. Questo, naturalmente, rende l'immagine seguente tanto più dispari:
Google anteprima YouTube lavoro corectly
C'è ancora una volta tale questione di coerenza - non si può mai sa bene cosa si vuole ottenere.

Ricerche locali cinesi

Allora, cosa si fa quando si sta navigando all'interno della Cina? Prima di tutto, non è "Google" (ricordiamo che tutta la faccenda brouhaha Cina), è "Baidu". Baidu è il motore di ricerca leader in Cina ed è probabilmente la più grande azienda tecnologica che non hai mai sentito parlare di - stiamo parlando del mondo 5 ° sito più visitato servono un paio di miliardi di ricerche ogni trimestre e un fatturato annuo intorno al marchio 10000000000.
Ecco la cosa interessante - facciamo ricerca per il mio nome su Baidu:
Baidu ricerca per "troy caccia"
Ora ricorda - questo è un motore di ricerca cinese e il numero della Cina più visitato il sito.Eppure, qui vediamo i link al mio blog (un po 'off limits) e il mio account di Facebook (completamente off limits). E, naturalmente, perché non sai se è possibile accedere a un sito fino a quando si fa clic su di esso e anche allora, se non puoi semplicemente non si ottiene una risposta, ti fa chiedo quante persone qui semplicemente pensare che un il sito è andato giù quando tenta di accedere a un risultato di ricerca.
E 'la stessa storia con la versione localizzata in Cina di Bing:
Bing Cina che mostra i risultati di ricerca per i contenuti inaccessibili
Blogger sito, Facebook, Google Plus, Twitter - tutto nella pagina di ricerca destinato a utenti in Cina ma tutte inaccessibili (in varia misura) dalla Cina. Odd.

Eccezioni

Chiaramente Twitter è fuori - sappiamo che. Ma questo non significa che non è possibile ottenere le notifiche push su dispositivi iOS (scusate il volto coperto babycino dei miei due anni in background):
Le notifiche push di Twitter provenienti attraverso il Great Firewall
Senza essere troppo bene il meccanismo di spinta dietro iOS, è chiaro che non è dipendente dal canale stesso una richiesta HTTP standard al servizio di social media. Ma naturalmente questo non è davvero aggirare il Grande Firewall - è qui che servizi proxy e VPN entrano in gioco (più su che un po 'più tardi).
Quanti di voi usano Instapaper ? E 'un modo eccellente di portare materiale non in linea in un modo altamente leggibile (cioè nudo tutto il materiale distrazione intorno al contenuto effettivo), e soprattutto nel contesto di questo post, funziona in Cina. In realtà funziona così bene che tutto eluda i controlli il Great Firewall mette in atto il che significa che ragazzi come Dave Tchepak di precedenza può ancora ottenere il suo messaggio là fuori:
Dave sito Tchepak di carico via Instapaper
Mentre siamo in Instapaper, come su un po 'di tweeting:
Tweeting via Instapaper
Sembra che un tweet tramite l'applicazione Instapaper risale attraverso un canale che non sia bloccato modo che io possa Tweet bene dal mio lettore preferito offline. E mentre stiamo parlando di Twitter, ovviamente, e-mail generate dal servizio arriverà bene, ma le immagini incorporate in esso anche caricare senza problemi:
Twitter caricamento immagini tramite e-mail ok
Si scopre che le immagini come avatar sopra provengono da si0.twimg.com quindi nessun problema su questo fronte. Ma poi non è possibile accedere yfrog.com - un altro paradigma strano, dove due servizi apparentemente equivalenti, hanno diverse politiche di controllo degli accessi.
Ricorda che problema con Google Plus? Quello in cui non si poteva caricare nel browser, allora si potrebbe per un po 'e ora non è possibile? Sembra la storia è un po 'diverso su iPhone:
Google carico Plus sul iPhone
La mia ipotesi - che sembra ragionevole - è che l'API è in un dominio diverso, che èconsentito dalla Cina. Stesso sito, contenuto identico ma caricato su un canale diverso in un dispositivo mobile con diverse grandi regole del firewall di controllo completo per il suo browser-based peer. Vai figura.
Per anni, c'è stato un gatto e al topo giocato con Tor con il servizio regolarmente bloccato poi blocca aggirato. Sembra che il blocco può comportare un certo grado di deep packet inspection - compito non facile sul volume dei dati che transitano attraverso il gateway della Cina (in realtà, si potrebbe spiegare alcuni comportamenti irregolare osservato in precedenza). Certo, questo rimane uno dei modi che i cittadini di molte nazioni, con controlli di accesso internet raggiungere i contenuti dei loro governi preferirebbero non lo fecero
Poi naturalmente ci sono servizi VPN in cui vengono creati tunnel sicuri tra PC e fornitori di fuori del paese che poi porta fuori a Internet come la conosciamo. Numerose sono le offerte commerciali disponibili per fare questo, ovviamente, così come servizi forniti da imprese.
Il punto è che il web non può essere semplicemente bloccate pezzo per pezzo, almeno non in alcun modo affidabile e coerente. Indipendentemente dalle motivazioni del utente finale, le strutture tecniche idonee a iniziare colpendo buchi nella Grande Firewall.

Perché dovremmo preoccuparci della Cina?

Nelle discussioni che ho avuto con persone che in passato - anche durante la ricerca di questo post - molto spesso ho sentito dire che la Cina non è qualcosa che ho pensato o preoccupartene. Cominciamo con il grande titolo - i primi 10 paesi da parte degli utenti internet :
Posizione
Paese
Utenti Internet
Popolazione
Percentuale
della popolazione
1Cina bandiera  Porcellana456.238.4641330141294
34,3%
2Italia flag  Stati Uniti243.542.822308.282.053
79,0%
3Bandiera Giappone  Giappone102.063.316127.579.145
80,0%
4India bandiera  India87.983.1011173108013
7,5%
5Bandiera Brasile  Brasile81.748.504201.103.331
40,7%
6Germany flag  Germania66.825.98681.644.454
81,9%
7Russia bandiera  Russia59.937.788139.390.205
43,0%
8Bandiera del Regno Unito  Regno Unito52.996.18062.348.447
85,0%
9Bandiera Francia  Francia51.879.48064.768.390
80,1%
10Nigeria bandiera  Nigeria45.944.229161.604.745
28,4%
Prendete questo in un attimo - ci sono utenti di Internet 87% in più in Cina che ci sono negli Stati Uniti . Pensiamo spesso sulla Cina in termini analoghi in India (un mercato emergente, le popolazioni non troppo lontano ogni altro, una rapida crescita), ma guardano i numeri di cui sopra - ci sono più di 5 volte gli utenti di Internet più in Cina che India .
Questi numeri sono impressionanti, ma considerare anche che la Cina ha solo un assorbimento internet del 34% - ci sono 1,3 miliardi di persone nella nazione ora e solo un numero relativamente piccolo di loro sono online. Confronto che ancora una volta negli Stati Uniti, che ha il 79% di persone online e si può vedere dove si trova la crescita futura.
Il fatto che il mio blog non è completamente accessibile da Cina rimane un po 'di spauracchio. Nel corso dell'ultimo anno, i visitatori cinesi classificato 28 ° tra tutti i popoli, in ritardo posti come Russia (13) e Finlandia (18). La nazione orientale con tutti gli utenti internet hanno rappresentato solo il 0,5% del mio traffico - che è un pubblico di massa che mi manca.
Ma io sto solo eseguendo un blog di tecnologia, non un business. Se stai usando qualsiasi tipo di sito in cui il traffico è importante per il successo aziendale, che ci si vuole dare uno sguardo piuttosto serio l'accessibilità dalla Cina. Le probabilità sono voi potrebbe essere escludere inavvertitamente un pubblico potenziale enorme semplicemente dovuto alla scelta di ospitare modello o struttura del sito.

Riassunto

Parlando con la gente in Cina, sembra che il filtro è un po 'irregolare. Alcune risorse che non potevano essere raggiunte ieri, può essere oggi. E viceversa. Ciò è coerente con l'osservazione che ho fatto in precedenza su, a volte le cose caricare solo bene, a volte no.Chissà cosa avete intenzione di ottenere ogni volta che si avviare il browser, sarà il calcio d'ispezione profonda dei pacchetti e rifiutare la richiesta? Chi lo sa.
Per me, che era davvero la cosa più frustrante, perché non ho mai saputo se la connessione era appena caduto (hotel WiFi ha l'abitudine di farlo), oppure se il sito era stato censurato.Personalmente, sarei stato felice di aver visto una pagina del governo dicendo che il sito era off limits - almeno il suo feedback esplicito. Ed è esattamente lo stesso problema quando mando la gente in Cina un link come non ho idea se possono accedere o meno. Non si può dire dal dominio solo se non sarebbe su Blogger o Heroku e limita, pertanto off (non avete intenzione di eseguire un WHOIS contro ogni link che inviano).
Parlando di connessioni che cadono, ho spesso - in realtà, fanno si che molto spesso - ha rilevato che dopo aver tentato di accedere ai contenuti che dovrebbe essere bloccato la mia connessione scomparso per circa un minuto. Anche se non ho potuto enfaticamente identificare un modello, questo è successo molto frequentemente tra i vari browser e su dispositivi diversi. Interessante ...
Alla fine della giornata, la gente qui solo sembrano andare avanti con le imprese e non lasciare che li preoccupi troppo. Gli sviluppatori con cui ho parlato di avere una forte dipendenza da MSDN (e sempre di Stack Overflow), in modo forse un po 'che iniziare con Google (o Baidu) come molti di noi farebbe - ma poi non sa cosa si sta andando ad essere in grado di accedere - vanno direttamente collaudate, fonti attendibili.
C'è anche una lezione in tutto questo per chi non è in Cina: se si sta costruendo un sito e vuole sfruttare il pubblico nazione più al mondo popolo con uno dei più veloci tassi di crescita economica, pensare molto, molto attentamente il vostro disegno e la scelta di host. Se non lo fate, è probabile che non funzionerà correttamente qui o anche essere accessibile a tutti.Sarebbe un peccato perdere quel pubblico di mezzo miliardo di utenti di internet.

Nessun commento:

Posta un commento